GPT-3
2020年7月にOpenAIが発表した高性能な言語モデル
OpenAIは、Transformerと呼ばれる深層学習の手法を用いた言語モデルGPT（2018年）、GPT-2（2019年）を発表しており、GPT-3はその後継の言語モデル
2020年9月にマイクロソフト（Microsoft）が独占ライセンスを取得
「Microsoft Azure」上で利用できるAPI（申請制）として公開されている
Wikipedia やCommon Crawl（Webサイトから収集されたデータ）などから集めた45TBもの膨大なテキストデータに対し、いくつかの前処理を行った570GBのデータセットを学習に用いています。このデータセットに対して、1750億個のパラメータを持つ自己回帰型言語モデル（ある単語の次に出てくる単語を予測するモデル）を学習することで、これまでにない巨大な言語モデルを作成しています。
https://youtu.be/H7-2mktmD98
GPT-3（Generative Pre-trained Transformer 3） | 用語解説 | 野村総合研究所(NRI)