Time To First Token
#対話型AI
#大規模言語モデル
Time To First Token (TTFT)
とは、
ChatGPT
のような
大規模言語モデル
を用いた
対話型AI
アプリケーションにおいて、クライアントから
プロンプト
を送信してから、最初のトークンが生成されてクライアントに届くまでの
時間
サーバからクライアントへのレスポンスは
Server-Sent Events
等を用いたストリームレスポンスが用いられることが多い
TTFTに作用する要素として、モデル規模・
ハードウェア
性能・
ネットワーク
状況・
プロンプト
の長さや複雑さ・
Reasoning
などが挙げられる
https://platform.claude.com/docs/en/about-claude/glossary#ttft-time-to-first-token