2025/8/29の研究ログ

昨日のやり残しを試す

trainer.callbacksからModelCheckpointインスタンスを直接探し、best_model_pathを取得する方法に変更すると安全です。

code: fix.py

# ModelCheckpointのインスタンスからbest_model_pathを取得

best_path = None

for cb in trainer.callbacks:

if isinstance(cb, ModelCheckpoint):

best_path = cb.best_model_path

break

print(f"best model: {best_path}")

あと5分くらいすれば終わりそう

終わったが同様のエラー > 下部に移動

以前から考えている計算速度向上の施策について

メモリがかなり余っているようだから,バッチ数を増やす方向性で良さそう

code: mem

+-----------------------------------------+------------------------+----------------------+

| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |

| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |

| | | MIG M. |

|=========================================+========================+======================|

| 0 NVIDIA GeForce RTX 4070 On | 00000000:2B:00.0 Off | N/A |

| 30% 53C P2 43W / 200W | 605MiB / 12282MiB | 38% Default |

| | | N/A |

+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+

| Processes: |

| GPU GI CI PID Type Process name GPU Memory |

| ID ID Usage |

|=========================================================================================|

| 0 N/A N/A 2185 G /usr/lib/xorg/Xorg 85MiB |

| 0 N/A N/A 2393 G /usr/bin/gnome-shell 8MiB |

| 0 N/A N/A 482118 G /usr/bin/gnome-control-center 12MiB |

| 0 N/A N/A 519601 C ...k/dcase2024/.venv/bin/python3 454MiB |

+-----------------------------------------------------------------------------------------+

12GiBほど容量があって,そのうち38%しか使っていないらしい

効果的な数値はどれくらいだろうか?

段階的に増やして検証する

検証用のスクリプトを書いた方が良いか?

別にそこまで大変ではないな

ひとまず手動で増やそう

まだ余裕がありそう

大丈夫っぽい?

1epochで21分以上かかった

578MiBより増えていないような

どこかボトルネックになっていそう

一度目の利用ではエラー

もう一度動かす

6312MiB使用されている

しかしvalidation自体には突入していることが分かった

printを修正して動かす

どうなるかな

2分くらいで終わったかも

validation_datalodaerでもcollate.pyを呼ぶか?

code: dataloader.py

def train_dataloader(self):

self.train_loader = torch.utils.data.DataLoader(

self.train_data,

batch_sampler=self.train_sampler,

num_workers=self.num_workers,

)

return self.train_loader

def val_dataloader(self):

self.val_loader = torch.utils.data.DataLoader(

self.valid_data,

num_workers=self.num_workers,

shuffle=False,

drop_last=False,

)

return self.val_loader

def test_dataloader(self):

self.test_loader = torch.utils.data.DataLoader(

self.test_data,

num_workers=self.num_workers,

shuffle=False,

drop_last=False,

)

return self.test_loader

code: Safedataloader.py

import torch

from torch.utils.data.dataloader import DataLoader, default_collate

class _NoneSafeIterator:

"""

DataLoaderから返されるNoneバッチを内部でスキップするイテレータのラッパー。

"""

def __init__(self, dataloader_iter):

self.dataloader_iter = dataloader_iter

def __iter__(self):

return self

def __next__(self):

while True:

# 元のイテレータから次のバッチを取得

batch = next(self.dataloader_iter)

# バッチがNoneでなければ、それを返す

if batch is not None:

return batch

# バッチがNoneなら、ループを続けて次の有効なバッチを探す

print("Skipping a batch that was None internally.")

class SafeCollate:

"""

データセットから返される None 値をフィルタリングする collate_fn。

フィルタリング後にバッチが空になった場合は None を返す。

"""

def __call__(self, batch):

if not batch:

# バッチが空ならNoneを返す（このNoneは_NoneSafeIteratorで捕捉される）

return None

return default_collate(batch)

class SafeDataLoader(DataLoader):

"""

Noneを返す可能性があるバッチを自動的にスキップするDataLoader。

PyTorch Lightningなどのフレームワークで安全に使用できる。

"""

def __init__(self, *args, **kwargs):

# ユーザーがcollate_fnを指定していない場合のみ、SafeCollateを設定

if 'collate_fn' not in kwargs:

super().__init__(*args, **kwargs)

def __iter__(self):

# DataLoaderのデフォルトのイテレータを取得

dataloader_iter = super().__iter__()

# Noneをスキップする機能を持つラッパーで包んで返す

return _NoneSafeIterator(dataloader_iter)

エラーについて改めて考える

見ると,確かにval/obj_metricなどは記録されていないことがわかる

300epochほど実行した時の記録を見ても何も残っていない

確実に何か問題が生じている

以下を行った

実行完了待ち

実行が完了したが,予期せぬエラー

code: error

val_objmetricが記録されていないらしい

n_epochsを2にするかな

earlyの方も2にした

直した

DEBUGをいくつか付け足した

collate.pyをsed...に直接書いて直したら,きちんと評価まで進んだっぽい

code: mem lack

上記のバッチ数を最初に戻したら解決した

audio_id: desed_audio_durations[audio_id]

推論結果のaudio_idとdurationsのaudio_idが一致していない?

僕の予想では,おそらくデータが食い違っているせいだと思われる

無理やりキーの部分を消したりなんだりしているせいでは?

install用のcsvをそのまま使っているのでは?

データのインストールが終わった

やっとmissing_fileが揃った

Slackに参加した方が良いのかな?