データのマスタが変わっても継続的に分析したい！

ワートリ好きな発表者

F社が管理してたジャンプ＋のデータをはてなが管理することになった

マスタが変わるので分析ができなくなる！

分析したい

ゴール

これまでの分析をはてなのデータを使ってできる

新規の分析をはてなのデータを使ってできる

データ連携

Datastream

運用の容易性

高頻度な連携

課題

初期化処理が遅い

詳しくはブログで

embulk

実績あるけど運用の容易性をとった

良い

データ再現

データ形式の違い

f社 統一的にcontentsを扱う

はてな 異なるタイプとして扱う

f社のテーブルをはてなのデータを使って再現する

BigQuery上で再現する

f社のテーブルに当てはまるはてなのデータを埋めていく

対応関係を洗い出す

ドキュメントにもなる！

dbt ELTのTを担うツール

データ品質を保証する

継続的な分析

他社の人がはてなのデータを理解する必要がある

tbls

Github pageでテーブル定義書を共有