カラムナフォーマット / parquet
https://engineer.retty.me/entry/columnar-storage-format
Dremel
bigquery, parquetで実装
ファイルフォーマット
encoding/compression, IO単位がmapreduceで処理しやすいように分割配置
メタデータ
レコード数、データの最大値/最小値、メモリ展開時のサイズ
これによりフルスキャン時に必要なデータのみを抽出可能
https://techblog.yahoo.co.jp/entry/20190924753251/
https://dev.classmethod.jp/articles/amazon-athena-using-parquet/
https://qiita.com/koijima/items/0eed4272c97af4198886
https://github.com/apache/arrow-rs/tree/master/parquet