A Survey of Large Language Models

2023年に13回更新された

https://raw.githubusercontent.com/RUCAIBox/LLMSurvey/main/assets/LLMs-0623-final.png

網掛けがOpen

（他にもいろいろな図がある）

TABLE 1

LLaMaの派生モデル

https://github.com/RUCAIBox/LLMSurvey/raw/main/assets/llama-0628-final.png

Fig 6: Ratios of various data sources in the pre-training data for existing LLM

Webページ、対話、論文、コード比率さまざま

Fig 4

text-davinci-002 に RLHF して 003

Fig 2:の整理、同感