言語モデル
2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる
カウントベース
トライグラム N-gram
まあまあ良い
ゼロ頻度問題が解決できない
Kneser-Ney smoother
べき分布も再現できる
RNN言語モデル #RNNLM
BPTTは勾配消失しやすい
→LSTM