Scrapboxのtoken/page
https://gyazo.com/69fca986e181b322019ad629a109187fhttps://gyazo.com/e742c246b4f6d26315f4d35243c7c821
Scrapboxをcl100k_baseでトークナイズするとどれくらいになるのか
元データはこのScrapbox 14178ページ
8192トークンに収まらないものは1%未満
OpenAIのEmbedding APIは8192トークンまで取れるので、ほとんどのページは丸ごと埋め込める
500トークンより短いものが過半数
それより長いものだけ500トークンずつに区切ることにした
table::
total 14178
< 8192 14092
< 500 9344