パイプラインアーキテクチャ
パイプライン処理
を中心的なパラダイムとするシステム全体の設計のこと
『
コンピュータアーキテクチャのエッセンス ［第 2 版］
』 より
Unix ターミナル言語
(
Bash
や
Zsh
) の背後にある原則として親しんでいるもの
MapReduce
プログラミングモデルを採用する多くのツールは、このトポロジーに従う
フィルターをパイプで繋いでいく
フィルターは 4 種類
プロデューサー (ソース) : 処理の出発点で出力のみ
トランスフォーマー (変換器) : map 的なもの
テスター : 入力に対して検査をして、検査の結果に基づく出力を行う。 reduce に似たもの
コンシューマー : 終了点。 DB に永続化したり UI として表示したりする
事例
EDI
ツール
ETL
ツール
Apache Camel
Apache Kafka
(
Kafka
)
関連
スーパーパイプラインアーキテクチャ
参考文献
ソフトウェアアーキテクチャの基礎 ―― エンジニアリングに基づく体系的アプローチ
コンピュータアーキテクチャのエッセンス ［第 2 版］