LLMに入力できる日本語の文字数とトークンの関係

日本語だと

ひらがな１文字＝トークン数１～２個。

漢字１文字＝トークン数２～３個。

以下の記事を参考に、1トークン: 0.96文字と計算

ChatGPT

GPT-3.5-Turbo (4k): 4096トークン

約4000文字の日本語

GPT-3.5-Turbo: 16,384トークン

約14000文字の日本語

GPT-4(8k): 8192トークン

約8000文字の日本語

GPT-4(32k) 32768トークン

約31500文字の日本語

GPT-4 Turboは12万8000トークン

約123000文字の日本語

本に換算すると300ページ分ものテキスト

2023年11月、Claude 2.1にアップデートし、10万トークン -> 20万トークンへ

約96000文字 -> 約192000文字の日本語へ

Claude 2.1は無料ユーザーも利用可能だが、20万トークンのコンテキストウィンドウは、Webサイト経由のProユーザー（月額20ドル）限定

2024年3月に、Claude3にアップデート。Claude3

コンテキストウィンドウは、20万トークンのまま

Claude3 Opusでは、needle in a haystackで、「干し草」の20万トークンの中で、「針」のリコールを98％達成している。

最大1000万トークンまでの入力の長文コンテキスト理解を可能にする。

これはつまり、1440ページの本、41070行のコード、オーディオ録音の1日分を快適に処理できることに。

needle in a haystackで、「干し草」の1000万トークンの中で「針」のリコールを99％以上で達成している。