GPT

2018年

1億1700万パラメータ

2019年

15億パラメータ

GPT-2は短い文章では優れた成績を収めたにもかかわらず、長い文章を首尾一貫した文脈に保つのに苦労した。

2020年

1750億パラメータ

2023年3月