2025/8/28の研究ログ
学習がやっと終わったと思ったらエラーを吐いた
torch.load(best_path)
best_pathが空っぽらしい
best_path = trainer.checkpoint_callback.best_model_pathで取得しているはずが,print()すると確かに空っぽ
? trainer.checkpoint_callback.best_model_pathはどう動く? ? 一応最後まで学習を終えたはずだが,モデルパラメータはどこかに出力されているか? おそらくckptファイルがcheckpoint_resumeにある
それがargs.resume_from_checkpoint
defaultでNone
一応pretrained.yamlを見たが,scalerという項目にsavepathがある
./scaler.ckpt
上の方でModelCheckpointが設定されている
val/obj_metricを監視
save_top_k=1のため,一つだけ保存
save_last=Trueのため,最後のモデルも保存
log_dirが元で,configsにある
configsはsingle_runの引数で,prepare_runから渡されている
prepare_runにて,/exp/2024_baselineとしている
見に行ったが,ckptファイルではなくtfeventsが入っている
一応中身を見たが文字化けしているし,ただのログだった
最後の方を見ても,どこがモデル保存をしているのかよく分からない
というかしてないように見える
流れとしては,pl.trainerにcallbacksが渡され,val/obj_metricを監視し,モデルを保存するはず
以下を確認する
trainer.fitで
check_val_every_n_epochはvalidation_interval
yamlを見ると10となっている
! val/obj_metricの値はどうなっているか self.log("val/obj_metric", ...)は呼ばれているか
self.logの後にprintを追加
TensorBoardで確認できるらしい
x trainer.callbacksの中身を確認 fitの後にprintを追加
見たけどよく分からない
中身はあるがきちんと動いていない
これは既に行なっており,空だと分かっている
> TensorBoardでval/obj_metricのグラフを確認 TensorBoardで表示ができない: tensorboard --logdir="path/to/exp_folder"
エラーを読んでないが,面倒なため他の作業をする
おそらくファイルがダメなため,放置
fitが終わった後に発生している
uv run train_pretrained.py