トークン数見積り2024-05-17

2024-05-17

code::

num book 336

num page 98526

num char 63668699

num token gpt4o 46738772

num token gpt4 62413985

gpt4 : gpt4o = 1.34 : 1

char : gpt4o = 1.36 : 1

エンジニアの知的生産術1冊で

code::

num page 273

num char 249144

num token gpt4o 178800

num token gpt4 236547

トークナイザ

code:py

gpt4o = tiktoken.encoding_for_model("gpt-4o") # <Encoding 'o200k_base'>

gpt4 = tiktoken.encoding_for_model("gpt-4") # <Encoding 'cl100k_base'>

text-embedding-3-small はcl100k_baseで、書籍336冊、98526ページで62M tokenで、今 $0.02 / 1M tokens だから$1.25

このScrapboxだと17,229,603 tokens

Embedding APIのコストは$0.4 / 1M Token

つまり7ドルくらい

「コーディングを支える技術」を丸ごと埋め込んで$0.13

(このScrapboxが書籍54冊分ということに驚き…)

1年ちょいでEmbedding APIのコストが1/20に下がったので、書籍1冊で1円を切るようになった

table:price

gpt-4o $5.00 / 1M tokens $15.00 / 1M tokens

gpt-3.5-turbo-0125 $0.50 / 1M tokens $1.50 / 1M tokens

このScrapboxが17M token(cl100k), 13M token(o200k)だから、読むのにGPT3.5で$8.5、GPT4oで$65って感じ