Parquet
https://parquet.apache.org/
from Apache Parquet:効率的なデータストレージ|Databricks
Apache Parquet は、効率的なデータの保存と検索のために設計された、オープンソースの列指向データファイル形式です。複雑なデータを一括処理するための効率的なデータ圧縮と符号化方式を提供し、パフォーマンスを向上させます。Apache Parquet は、バッチとインタラクティブの両方のワークロードで共通の交換形式となるように設計されており、Hadoop で利用可能な他の列指向ストレージファイル形式である RCFile や ORC に似ています。
Parquet の特徴
コスト不要のオープンソースのファイル形式
あらゆる言語に対応
列ベースのフォーマット:ファイルは行ではなく列ごとに整理されるため、ストレージ容量を節約し、分析クエリを高速化します。
分析(OLAP)のユースケースに使用:通常は、従来の OLTP データベースと組み合わせて使用します。
高効率なデータ圧縮と解凍
複雑なデータタイプ、高度にネストされたデータ構造をサポート