モダンデータアーキテクチャ
概要
S3を中心に据えて各種コンピューティング系のサービスで自在に変換する
AWS上で実現する最強のデータ基盤
メリット
統一的なガバナンス
簡単なデータ移動
ストレージがコスパ良くスケール
豊富なコンピューティング
hiroki.iconAWS上でやるならこれがベストだろなぁ。でも個人的にはBQ/Snowflake採用してTはdbtで完結させたい。 色々なコンポーネントを自在に組み合わせることができるからあらゆる分析ワークロードにも対応できる反面、データ基盤を構成する具体的なコンポーネントが全部見えちゃって複雑に見えてしまう
BQ/Snowflake+dbtの良さはそれ一つで完結している感があって利用者から見ると非常にスッキリとした感じなんだよな それとAWSを使っていない人からするとこのAWS上でのモダンデータアーキテクチャを採用するモチベーションが薄くなる(モダンデータアーキテクチャの考え方自体はどんな製品を使っていても有効)
でもその逆のパターンって少ない
参照