GPT
GPTとはGenerative Pretrained Transformerの略
Transformerをベースにした事前学習した大規模言語モデル
2018年にOpenAIが発表した初期段階のモデル
BookCorpusという名の、さまざまなジャンル約7,000冊を含む書籍データセットで事前学習した後、ファインチューニングと呼ばれるタスクに適した処理をしていく2段階モデルが特徴的
GPTの歴史
2015年イーロン・マスクを筆頭に、起業家、実業家などから援助をうけ、非営利団体のAI研究組織であるOpenAIが誕生
2017年「Attention is all you need」という論文でTransformerを発表
2018年 OpenAIがGPTをリリース
2019年 GPT-2をリリース
GPT-2ではより多くのテキストデータから事前学習を行い、パラメータ数を15億個と大幅に増やしている。さまざまなタスクにおいて事前学習したモデルだけで高い性能を示し、常識的な推論の出力を得られるまでになった。
2020年 GPT-3をリリース
45TBもの膨大なテキストデータから事前学習を行なっている。パラメータ数は1,750億個。
ほとんどのタスク処理において人間と同等以上の能力を発揮し、大きなブレークスルーとなった。
2022年 GPT-3.5にあたるChatGPTをリリース
2023年 GPT-4をリリース