言語モデル
テキストの続きを予測するもの
自己回帰言語モデル
: 言語を時系列データとみなし、過去の観測値を用いて現在の値を予測するモデル
ニューラル言語モデル
2013 年、
Word2vec
Transformer
自己回帰言語モデル
の一種
従来の
リカレントニューラルネットワーク
(
RNN
) ベースのモデルでは、テキスト内の離れたトークン間の関係性を捉えることが難しい → テキストが長くなるにつれて過去の情報の記憶が難しくなる
2017 年、この問題を解決するために提案されたのが Transformer
関連
大規模言語モデル
参考文献
AI 白書 2025