Machine Learning Pipelines with DVC (Hands-On Tutorial!)
依存ライブラリをインストール
pip install -r src/requirements.txt
dvc run
stageを追加し実行
dvc stage add + コマンドを実行
stageの名前(-n)
パラメタ(-p、params)
params.yamlに定義
カンマで区切って渡す
依存するファイル(-d、deps)
データやスクリプト
複数あれば複数-dを指定する
ディレクトリも指定できる
コマンド(cmd)
Pythonスクリプト実行だけに限らない
出力(-o、outs)
dvc.yamlを書き換え
dvc reproで再現
変更がないstageは再実行されない
Makefileを置き換えられそう
params.yamlでパラメタを変更
変更されたstageから実行
戻すと、キャッシュされた結果が使われる
DAGができている!
https://youtu.be/71IGzyH95UY