大規模言語モデルは新たな知能か
https://m.media-amazon.com/images/I/81g93YgGmfL._AC_UF1000,1000_QL80_FMwebp_.jpg https://www.amazon.co.jp/dp/4000297198/?tag=1000ch-22
大規模言語モデルを信頼する人が増えることで、扇動し民意をコントロールできてしまうリスクなどもある。何事もなかったかのように的を得ていない答えを返すこともあり、ハルシネーションという。
文章の校正に役立てたり、プログラミングをサポートしたり、検索エンジンの上位互換として利用したり、言語以外の作品生成に使ったり、人の対話相手として利用したり、学習をサポートしたり。ハルシネーション(幻覚)の解決は簡単ではない。
ディープラーニングの成功は3つだとされる。表現学習の達成、もともと与られたデータから計算機上での表現は専門家が与えてきたが、ディープラーニングは自らの導くことができる。あとは問題の複雑性によらず、学習できること。一般にモデルが大きくなると学習は難しくなっていくが、誤差逆伝播法を使って効率かつ正確に求められる。最後に汎化、正則化に向けて問題を解く時に、表現力を適切に制限できることがわかった。