GPT-1 - work4ai

GPT-1

https://en.wikipedia.org/wiki/GPT-1

Google翻訳:

生成事前学習済みトランスフォーマー1（GPT-1）は、2017年にGoogleがトランスフォーマーアーキテクチャを発明したことを受けて、OpenAIが初めて開発した大規模言語モデルでした。 2018年6月、OpenAIは「生成事前学習による言語理解の向上」と題する論文を発表しました。この論文では、生成事前学習済みトランスフォーマーの一般的な概念とともに、最初のモデルが紹介されました。