S3のクエリの掛け方
S3
のクエリの掛け方S3 内のデータに対して、わざわざ DB にインポートせずにクエリを投げる方法は主に 3 つあります。
S3 Select
単一のオブジェクト(CSV/JSON等)に対して SQL でフィルタリング。転送量を減らせる。
Amazon Athena
複数のバケット・フォルダ全体に対して標準 SQL で分析。サーバーレスで強力。
Redshift Spectrum
Amazon Redshift
のクラスターから、S3 上のデータ(コールドデータ)を直接参照して分析。