LLMの仕組み（簡単バージョン）
#2025/6/24
https://youtu.be/y7NQiNER6r4
強化学習を使うとは聞いていたが,事前学習の後に一般的に行われているのか...?
最近からだと思っていた
Transformerでの単語間の関係性の学習などは事前学習に当たると初めて知った
Transformerは何となくAttention機構がすごいという認識だった
講義でもう少し詳細な解説があった気がするが,もうほとんど覚えてない
数式を見るかスクラッチすれば理解が深まりそう
Python(PyTorch)で自作して理解するTransformerとか?
今の所LSTMを使う予定だからさほど困らないか?
Federated Learning for IoMT-Enhanced Human Activity Recognition with Hybrid LSTM-GRU Networks
結局Transformerは何らかの形で使いそう
言語ではなく音響認識,つまり非言語的なタスクになる
それらの関係性を表現するのにやはり良さそうに見える
以前の入力をもう一度反映させるとか,少し複雑な操作をしていた気がする
思ったより理解が進んでいない?
説明を試みようとしていないのでは
やってみる
LLMは膨大なテキストの末尾を予測するタスクを学習
次に来る単語の確率を予測する
バックプロパゲーション,誤差逆伝播法で各重みを増減させ,単語の確率を調整
予測を繰り返し文章を作成する
単なる予測ではなく,ランダムな出力をする
より自然な応答に見えるらしい
所望する出力を得るために強化学習で重みを更新
おかしな応答などをなくす
人手で行うらしい
だから大量の労働力が必要なのだなぁ
回答に対して良いかどうか評価を与える
それに応じて重みを調節
Transformerが二種類の層を持っていて,それが良い感じに作用するのはわかった
働きの詳細は全く分かっていない
このまま続きの動画も見た方が良いか?