Lunch LT メモ: 大規模データの負債解消への道のり Lunch LT
#findy
Twitter
https://x.com/search?q=%23data_findy
LT1「データの受託開発を終わらせる」
資料: https://speakerdeck.com/hiro0329/detanoshou-tuo-kai-fa-karanozu-ye
データ基盤
データ負債
データ基盤が未成熟
組織構造
データ負債の悪影響
データの不整合
運用
負債解消のアプローチ
マートの仕様書を書く
メンテ対象を減らす
LT2「Dataform を使った GAS によるデータ運用からの脱却」
資料: https://speakerdeck.com/hiracky16/dataform-woshi-tuta-gas-niyorudetayun-yong-karanotuo-que
Findy
GASの辛さ
データソースの変更に気付けない
SQLがシート管理者に依存
同じ処理が複数のシートに散在
Dataform
ノンプログラマでもSQLかける
dbt ?代替
git
リネージ
SQL をGitHubでレビューできる
効果
レビュー体制がこうちくできた
GAS(負債)が作られなくなった
共通テーブル
LT3「アジリティの高いデータ基盤を目指して」
資料: https://speakerdeck.com/ttccddtoki/aziriteinogao-idetaji-pan-womu-zhi-site
Timee
アジリティ
カラム追加やツール導入しやすい
データ基盤はアジリティ低くなりがち
複雑な依存関係
ユースケース
事例
Redash -> Looker
指標をあらかじめ定義
SQL書かずに日本語でデータ抽出できる
データ加工・モデリングを Looker, Embulk から dbt へ移行
1箇所でモデルを管理
dbt exposure アウトプットの自動登録・管理
課題
データコントラクト
データ品質の期待値、管理レベルをすり合わせる
LT4「大規模データに集まるみんなの負債！との付き合い方」
資料: https://speakerdeck.com/masatoshi0205/da-gui-mo-detaniji-maruminnanofu-zhai-tonofu-kihe-ifang
ヤプリ
負債の例
経営的意思決定起因、外部サービス利用から内製化
GA -> 内製
連携システム起因
コツ
優先順位
心が削られる
ビジネスインパクト
経営に関わる
後回しにする
より良いソリューションが出てくる
途中で負債が自然消滅することも
みんなで解決する
チームで
負債はチャンス
LT5「データ基盤の負債を生まない技術と技術以外の話」
資料: https://speakerdeck.com/ikkimiyazaki/detaji-pan-nofu-zhai-wosheng-manaiji-shu-toji-shu-yi-wai-nohua
stableカブシキガイシャ
負債に技術以外の観点でアプローチ
データ負債の問題
抽象化すると以下が「ない」
戦略
知見
リソース