itakura-2024-11-29 進捗報告

やったこと

https://gyazo.com/1e08c97d2780f548d4e555db9e57660a

周りの画像のリストをテンソルに直して、for文を使わないようにした。

クエリ(6, 1, 1, 16384, 64)とキー、バリュー(6, 1, 32, 16384, 64)のcrossAttentionの計算でメモリのエラーが出た。

SegFormerでもともと使われている削減率を使用して、キー、バリューを(6, 1, 32, 256, 64)にして、もう一度計算したが、メモリエラーがまだ出る。

今後の予定

計算量を下げるために、2ブロック目にクロスアテンションを追加する。