predicting the next word leads to real understanding
Ilya Sutskever says predicting the next word leads to real understanding. For example, say you read a detective novel, and on the last page, the detective says "I am going to reveal the identity of the criminal, and that person's name is _____." ... predict that word. : r/OpenAI
彼は、これは単に統計的相関関係を学習する以上のものだと強調しています。モデルは、次の単語を正確に予測するために、テキストを生成するプロセスの抽象的で使いやすい表現を構築します。モデルの予測精度が向上するにつれて、文脈を理解する際の忠実度と解像度も向上し、推論やより複雑なタスクが可能になります
#LLM