OpenAI Playground
System
事前に与えるprompt
User
ユーザーのprompt
Assistant
ChatGPTのoutput
ランダムネス
Temperatureもまた確率分布にかかわる値です。Temperatureを小さな値にすると確率分布の散らばりが大きくなって、確率の高い語はより高く、確率の低い語はより低くなります。逆にTemperatureが高くなると、確率の高い語と低い語の差が縮まります。
Temperatureの値は言語モデル毎に調整する必要があります。Temperatureの効果が、言語モデルの出力する元の確率分布の散らばり具合に依存するためです。temperature=1.0がデフォルト値として使われる事が多いと思いますが、Top Pのそれとは異なり1.0という値に特別な意味があるわけではない点に注意してください。
上位p%のトークンを取得