ChatGPTでinlineの関連ページを表示する

- 日記を読むAIアシスタントからの派生

indexの手動更新

> code

$ python make_vecs_from_json/main.py

- (全ページだと遅いので20ページに絞った）

- 全ページだと何分かかるか？

> code

python upload_vecs/main.py

1分くらい

Twitterとinline

2023-08-29~ inlineとtwitterのindexを一緒に検索する

- inlineのあるページ辺をキーにしてTweetを得ることが出来た

- inlineのあるページは細かく刻まれており、そのどれか1つについてを扱っているがこれで良いのか？

- 複数のページ辺の内容を加味してほしいけどそういうのはできない？

- ベクトルの平均を使ってみた、まぁそれっぽいか

- 検索してどうする？という気持ちになったので一旦浮遊にした

- この後どうするか？

- inlineのページに関連Tweetを出すことはできるが、微妙な気がする

- 上位5件くらいなら出しても邪魔にならないしやっても良いかな

TweetもQdrantに突っ込んでみる

- まずはベクトル化してpickleに入れる

- 30分くらいかかりそう

- ベクトルをQdrantにアップロード

- 15分くらい

2023-08-17. Omoikane Embedの仕組みでTwitterのベクトルをQdrantに突っ込む

indexを更新する仕組み

2023-08-28+0 indexを更新する仕組みを考える

- Raspberry Piからcrontabで実行する

- Kubernetesクラスタでcronjobで実行する

- これでも良いか

- GitHub Actionsで実行する

- これが一番ベストな気がする

- もともとそういう風にできてたはずだしね

inlineの関連ページ取得プロキシ

- Flaskを使ってこれをAPIにする

- CORSも設定した

- https://qiita.com/tmokmss/items/122dfdb41188176e45b5

- Dockerでこれをコンテナにする

- alpineベースのPythonだとnumpyがコンパイルできなかった

- 1.13GBもあるのか・・

- inajob1/inline-qdrant

- arm版もビルドするようにする

- ビルドが超絶遅い

- {x} Kubernetesのマニフェストにする

- https://inline-qdrant.inajob.tk/similar/FrontPage

- {x} inlineのフロントエンドから呼び出す

- instantSearchに出すでよさそう

Qdrantを使う

- Scrapbox ChatGPT Connectorのデータから関連ページをサーフィンするでローカルでは動く

- ローカルでしか動かない

- 遅い

- Omoikane Embed のQdrant を使うと簡単にできそう

- リモートで動かし続けるのは色々考える事があるのでpickleからQdrantに突っ込むのが出来ると気軽そう

- 多分この機能はすでに実装されているので後半だけ実行すれば良さそう

- inlineは追加した、残りはTwitter

ブラウザで関連ページを表示する仕組み

- 一旦はstaticなベクトルデータベースで良い

- jsonにできれば処理をクライアントに移譲できそう

- 111MBになった・・pickleは52MBで本文も含んでいるのに・・

- コサイン距離を出すだけ

- データがないページはデータがないと表示すれば良い

- out of dateというのもあるだろう

ローカルで試した

- Scrapbox ChatGPT Connectorのデータから関連ページをサーフィンする

- 面白い！

- 毎回ベクトルを計算しているので負荷はそこそこ

- 雑にデプロイして、iframeとかで埋め込めばよい？

Twitterのデータとinlineのデータを混ぜるのはどうか？

- 後回し、面白いものが出てくる気がしない