dbt
https://gyazo.com/a360ff01e5b6c676277842242d2c2e89
概要
テンプレートSQLのコンパイル
SQLの実行
SQLテンプレートのrefを元に依存関係を明らかにしてクエリの実行順序はdbtが管理してくれる
スキーマとデータリーネージのドキュメントを自動生成してくれる
個々のモデルでは1つの変換に注力するようにすると、よくありがちな “とても複雑な SQL クエリ” を回避できるかも
従来は細かく中間テーブルをmaterializeするのは現実的ではなかったが、dbt ならできそう
モデルの再利用
dry
機械学習モデルの学習や予測などSQL以外の処理が必要な場合はdbtの外に出る必要がある
参照
https://youtu.be/a6znZzN67xA