Scrapboxでベクトル検索するUserScript作りたい
Scrapboxでベクトル検索するUserScript作りたいtakker.icon
LLMなしでもできるかな？
文章ベクトルを作る事ができるならLLMである必要はなさそうinajob.icon LLM代を払う気があればすぐできそう
バイトしようかなーtakker.icon
https://gyazo.com/e28c9587e9f40cec2a73772c4380721a
inlineのインデックスを一気に作った日のbillingがこんなもんinajob.icon
ページ数どのくらいだろうな、ページ数というよりtoken数なのだろうけど
井戸端との比較にはならないけど、1000倍も無いでしょう、位は言えるのでは？
nishio.iconさんならもっと詳しそう
というかnishio.iconさん、井戸端のインデックス作ったりしてないのかな？
僕がやらないとハプンしないことがありすぎて後回しになり続けてるnishio.icon
$0.0004 / 1K tokens
5ドルくらい？意外と安い
あ、違うな、長いページがオーバーラップしながら分割されるので大雑把に2倍
いまembeddingのAPIがもっと安くなっている
1年前の記事nishio.icon
今確認したらこの時点から4倍安くなってて、さらに5倍安い新しいAPIができてる
新しく始めるなら後者のAPIを使った方がいいんじゃないかな
この前open ai apiのdocsみてたら、いろいろ新しいAPIが生えてて、embedding使わなくてもいけるんじゃないかと思ったりもしましたtakker.icon
function callingでscrapboxのAPIを呼び出させるとか
うまい棒6,7本分くらいかな。それなら課金しても怒られなさそうtakker.icon
(何を気にしているんだ)
確か今先払い式になっているので、それを超えたらエラーになると思われますinajob.icon
ベクトルインデックスは中度半端にできてもある程度機能するので、金額決めてできる限り作るとかでも良さそう
やってみます！takker.icon
spending limitってやつですねtakker.icon
githubとかherokuにもある
無料版はメモリ制限があるから井戸端全部はいるかな？
本文をオンメモリのペイロードにつむと難しいんじゃないかなnishio.icon
リンク先を出すだけなら本文はいらないよね
JSでcodingしなおすか、WASMでなんとか高速化できなかいかと考えていますtakker.icon
はいOpenAIのEmbeddings APIをつかっています、というか上のomoikane-embed-coreそのままですinajob.icon なるほど～takker.icon
JSから使えるものとしてTensorflowがあるけど、これはベクトル検索関係ない？takker.icon これは機械学習してモデルを作るほうのアルゴリズムだから違うか
コサイン距離など何らかの距離関数でソートして取り出せれば何でも良さそうinajob.icon
それよりインデックスをうまいこと作って高速化するとかそのへんが気になる
inlineのベクトル検索のUI
ベクトル検索による関連ページリストが表示されているページを見つけようとしたが、探し出せなかったtakker.icon
https://gyazo.com/7ff681626b3694440d99f76a956a9242
関連ページリストの中に紛れ込んで出てますinajob.icon
sim: ページ名 となっているのがそれ
noneとなっているのは、実装都合です・・
これは自分しか見えないようにしている（全文検索が遅いので・・）
つまり、inajob.iconさん意外は、関連ページリスト内からベクトル検索した結果しか表示されないということですか？(たぶんちがう)takker.icon