大規模言語モデル
Key concepts:
Pretaining
リソース増やせば、そのまま性能向上が期待できる。
#LLM
学習にお金がかかるので、事実上、いくつかのものしかない？
GPT-3
PaLM
OpenAIはこの
GPT-3
開発の知見を基に「ディープラーニングのscaling law（スケール則）」を提唱。モデルのパラメータ数、学習データ量、計算リソースを増やしていけば、性能はそのままスケールしていくとまで発表している
ロボット
開発分野で応用が効く？
ついに来た、グーグル発のすごいロボット技術、大規模言語モデルをロボ身体を通じグラウンディング | 日経Robotics（日経ロボティクス）
ミクシィがロボット事業に参入、深層学習Transformerベースの対話ロボ | 日経Robotics（日経ロボティクス）
LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発 新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に
#NLP