Transformer

ニューラルネットワークで主に使用される深層学習のアーキテクチャの一種

LLMは、デコーダを使ったテキスト生成がメイン

デコーダの基本構成

Tokenize (テキストのトークン化)

Embedding (トークンのベクトル化)

Self-Attention (トークン同士の関係性の計算)

Feed Forward (ニューラルネットワーク内部の知識とトークンの関連付け)

上記の構成を繰り返して、テキストを生成する

https://scrapbox.io/files/69fab4c92dc79442f0d70192.png