Hadoop
Hadoop とは
OSS
GB - PB レベルの巨大なデータを扱うのに効果的
1つの巨大なコンピュータではなく、複数のコンピュータで並列処理を行う
テキスト
画像
ログ
などの構造化されていないデータを、高速に処理出来るオープンソースのプラットフォーム
処理の分散だけでなく、データも分散できる
ビッグデータを扱うのに効率的、低コスト
Hadoop consists of...
HDFS - Hadoop Ditributed File Systems 分散ファイルシステム
better data throughput than traditional file systems
high fault tolerance and native support of large datasets
YARN - Yet Another Resource Negotiator
ノードや resource usage をモニターする
ジョブスケジュールなども行う
データに対し並列処理を行うためのフレームワーク
Hadoop Common
How
References