2025/9/4の研究ログ
Pytorchが分からないからか,目的をどう実現したらいいのか全く分からない 今回は出力してもらおう
前回までのコードを読んだ感じ,現在のコードでは特徴量を得るために一々全て動作させている
希望の動作は
特徴量をそれぞれ獲得し
CrossAttentionに入れて
二つの出力を再度入力として与えることを繰り返す
なおCNNは隔層,BEATsは二層ごとに特徴量を得る
出来たコードが以下
code: fusion.py
cnn_input = x
beats_input = x
for i in range(num_cnn_layers): # 例: 7層
# CNNのi層目forward
cnn_feat = cnn.forward_one_layer(cnn_input, layer_idx=i)
# BEATsの2層分forward
beats_feat = beats.forward_two_layers(beats_input, layer_idx=2*i)
# CrossAttentionで融合
fused_cnn, fused_beats = cross_attention(cnn_feat, beats_feat)
# 次層への入力
cnn_input = fused_cnn
beats_input = fused_beats
# 最終融合特徴量をRNNへ
output = rnn(cnn_input)
上記コードのうち,forward_one_layer()とforward_two_layers()は未実装
CNNに渡している前処理済みのデータではなく,処理する前の生データが欲しい 以前から送っていたデータに関するメッセージに返信が来た
一週間近く経っているが,おそらく僕が送った場所が悪い
本当はDMに送った方が良かったのだろう
消すのが面倒でそのままにしていたが,対応してくれる人がいて良かった
ひとまずtsvは送ったから,これで解決するかな?