Snowflake
概要
仮想ウェアハウス
DWHを複数作成してコンピュートリソースを簡単に分離できる
用途に応じてスケールアウトできるので、でかいクエリでのメモリ問題など起こりにくい
TDでは環境で一つの共有したメモリを使うのでメモリ問題など起こったりする
ゼロコピークローン→イミュータブルだからできること
要はポインタだけ渡すということ
タイムトラベル
snowpipe
マイクロパーティション
RBACベースの権限管理でやりやすい
ダイナミックマスキングポリシー
全ての操作がSQLで完結する
データは圧縮して保管される(BQは元のデータサイズに対して課金される)
hiroki.iconイミュータブルとかシンプルなアーキテクチャとか色々と示唆に富んでいる
ELT
https://gyazo.com/39b421b0c0a3744da6013db0d9b9f865
S3などのバケットからのインポート
→S3へデータを吐き出す仕組みをバッチで構築する