High available cron job
daily などでバッチジョブを動かしたい
素朴な方法:サーバーを用意して、バッチジョブのプログラムを置いて cron を設定する
→ 分散処理したい & 可用性を上げたい
Jenkins
master は SPOF (single point of failure)
Azkaban
Hadoop の job scheduler
Web UI にファイルをアップロードとかできる
Schedule Flow で cron できる
azkaban の HA は未対応 https://github.com/azkaban/azkaban/issues/952
Apache Oozie
Hadoop の job scheduler?
HA ができる?https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cdh_hag_oozie_ha1.html
k8s CronJob
master を冗長化していたら冗長化される?
参考記事
cron の代替になりそうなジョブ管理ツールのまとめ https://qiita.com/shrkw/items/5c3d53358b0016a09504
kubernetes CronJob: https://kubernetes.io/ja/docs/concepts/workloads/controllers/cron-jobs/
cron の冗長化法について調べてみた https://keyamb.hatenablog.com/entry/2015/02/28/045513
Kubernetes の CronJob/Job の仕組みをひもとく https://qiita.com/tmshn/items/aedf0d739a43a1d6423d