データ基盤

データ分析基盤とは？基盤を構築するための5つのステップ

https://scrapbox.io/files/65614f879015f0001c205a2a.jpeg

https://scrapbox.io/files/65614fa8dfd428001ce316b0.png

人気BIツール8つを詳細に比較【2022最新】

データ分析基盤の基本と構築のポイント

カンムの機械学習インフラの今 2023 年版

データ分析基盤まとめ

「鮮度」と「精度」を両立させる広告データ基盤のつくり方

query engine 「trino」

Hive

HDFS

クラウドデータレイク

大量のデータを効率的に管理し、ビッグデータ分析、機械学習、AIなどの高度なデータ分析を実現するためのデータ基盤として、クラウドデータレイクが注目されています。スケーラビリティと多様なデータ管理機能を兼ね備えたクラウドデータレイクは、現代のデータ分析ニーズにマッチする技術として、データの重要性が増す昨今、多くの企業の関心を集めています。本書は、クラウドデータレイクのセットアップ、管理、ガバナンスについて、包括的に解説した実践的なガイドです。設計におけるポイントやベストプラクティス、データフォーマットとパフォーマンスの最適化、コスト管理、セキュリティなど、クラウドデータレイクの構築方法を、架空の組織をモデルにわかりやすく解説します。クラウドデータレイクの構築とデータアーキテクチャの実践的なノウハウをコンパクトにまとめた1冊です。

大規模データ管理

データ管理と統合が急速に進化する中、複雑で緊密に結合したアーキテクチャから、現代のビジネスに対応できる、より柔軟なデータアーキテクチャへの移行が求められます。

本書は、変化が激しい時代でも長期的に持続可能な方法で大規模なデータ管理を行い、さまざまなユースケースに対応できる統合アーキテクチャを紹介します。この統合アーキテクチャを構成する、膨大なデータ利用に向けた「読み出し専用データストアアーキテクチャ」、リアルタイムなアプリケーションのための「APIアーキテクチャ」、大容量のスループットを実現する「ストリーミングアーキテクチャ」を詳述します。また技術開発、法規制、プライバシーに関する懸念など、データ管理全体を説明し、データガバナンスとセキュリティ、マスターデータ管理、セルフサービスとデータマーケットプレイス、メタデータの重要性について解説します。

企業のデータ戦略にかかわる本書は、アーキテクトはもちろん、経営者、ガバナンスチーム、データ分析・エンジニアリングチーム必携の一冊です。

データ基盤Visionの進化の軌跡-事業の成長と共に歩んだ道のり

使われないものを作るな！出口から作るデータ分析基盤

データ分析基盤のはじめかた - オープンセミナー2022@広島

https://www.youtube.com/watch?v=81frXIr5HCI

データ基盤を支える技術

snowflake

databricks

treasure data

LLM時代のデータ基盤 : 非構造化データを扱うETLプロセスの重要性

みんなの考えた最強のデータ基盤アーキテクチャ2024前半