bq
データセット・テーブルの作成、クエリ実行、データロードなど
例
$ bq query 'SELECT * FROM my_dataset.my_table LIMIT 10'
$ bq load --source_format=CSV my_dataset.my_table ./file.csv
$ bq mk --dataset my_dataset
よく使うコマンド例
code:bash
# データセット作成
bq mk my_dataset
# テーブル作成(CSV ファイルをロード)
bq load --source_format=CSV my_dataset.my_table ./sample.csv
# クエリ実行
bq query --use_legacy_sql=false 'SELECT COUNT(*) FROM my_dataset.my_table'
# スキーマの表示
bq show my_dataset.my_table
# テーブルのデータ確認(最初の10行)
bq head -n 10 my_dataset.my_table
よく使うコマンド一覧
SQL クエリの実行
$ bq query --use_legacy_sql=false 'SELECT name, age FROM project.dataset.table WHERE age > 30'
bq mk
データセットまたはテーブルの作成
データセットの作成
$ bq mk my_dataset
テーブルのスキーマ付き作成
$ bq mk --table my_dataset.my_table name:STRING,age:INTEGER
bq rm
データセット、テーブル、ビューの削除
bq cp
テーブルのコピー
bq extract
BigQuery テーブルを GCS にエクスポート
$ bq extract --destination_format=CSV my_dataset.my_table gs://my-bucket/my-output.csv
テーブルを GCS にエクスポート
bq load
GCS などから BigQuery にデータをロード
$ bq load --autodetect --source_format=CSV my_dataset.my_table gs://my-bucket/my-file.csv
データを CSV からロード
bq update
スキーマ変更、ラベル追加など