queue
https://gyazo.com/65bf57643101b877199016a80b227bf1
First In First Out(FIFO)のコレクション
をつかってクローラを書くと相性がいいらしい(via ytanaka)
各キューの最後に次のジョブを積むコードを書く
pros
一つ一つのキューはテスタブルになる
cons
全体を統治するコードがないのでコードの見通しは悪くなる
Kue
Automattic/kue: Kue is a priority job queue backed by redis, built for node.js.
node.js製。Redisに積む。
今回 Dispatcher-Worker として Job Queue を golang で実装する方法を紹介したいと思います
golang の channel を使って Dispatcher-Worker を作り goroutine 爆発させないようにする - at kaneshin
構成
Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp
用語
job queue
ジョブ持つスケジューラによって管理されるキュー。実行したいジョブを積むと順次実行される
Job queue - Wikipedia
#データ構造