GPT-3

45TBもの膨大なテキストデータから事前学習を行なっている。パラメータ数は1,750億個。

ほとんどのタスク処理において人間と同等以上の能力を発揮し、大きなブレークスルーとなった。