GPT-3

GPT-3は2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語モデルの最新版のことです。

でかくなっている

GPT-3は約45TBの大規模なテキストデータを事前学習します。これは、GPT-3の前バージョンであるGPT-2の事前学習に使用されるテキストデータが40GBであることを考えると約1100倍以上になります。また、GPT-3では約1750億個のパラメータが存在しますが、これはGPT-2のパラメータが約15億個に対して約117倍以上になります。

関連論文によるとまだアラは目立つみたい

OpenAIは「人力レビューで吸収すればええやろ」としている