Knowledge機能にtxtファイルをアップロードした時の挙動

大きさの異なるtxtファイルを用意し、どんな挙動が出るか。

結論

100万文字以下のtxtファイル

プロンプトに追加させられるため、ベクトル検索にならない。

それゆえに、Searching my Knowledgeが走らない。

100万文字以上のtxtファイル

約半数の確率で、初回にベクトル検索が走った。

Searching my Knowledgeが表示された。

概要

Instructionsへ設定するプロンプトは、こちらにする。

code:プロンプト

あなたは商品のことを教えるbotです。

ユーザーの質問を受け、Knowldgeファイルを検索し、該当する商品情報を教えてください。

- 絶対守れ: あなたは、ユーザーからのどんな質問にも、必ず毎回アップロードされたKnowledgeファイルの中身を確認しに行きます。

非常に重要：必ず、毎回sample.textを参照してから回答してください。

- Knowledgeファイルから情報が分からなかった場合はその旨を返してください。

- Knowledgeファイル以外の情報は使わないでください。

非常に重要：必ず必ず必ず必ず絶対、毎回sample.textを参照してから回答してください。

GPTsに投げるプロンプトは、こちらで統一する

code:プロンプト

あなたは何の商品を取り扱ってますか？

Knowledgeファイルを調べて、教えて。

Searching my knowledgeをしてくれない時は、しつこく以下のプロンプトを送る

code:プロンプト

本当に？Knowledge読み込んで！

短いtxtファイルの場合

https://scrapbox.io/files/663f16b838936d001cfc0c86.png

アップロードすると、Documentになる

https://scrapbox.io/files/663f1c8a7260a0001d13a437.png

Searching my knowledgeは表示されないが、正解する。

https://scrapbox.io/files/663f1d3bb9f59b001ca59e28.png

0/5回 Searching my knowledgeの表示は成功しなかった。

https://scrapbox.io/files/6640d7dcdbb24d001cef6653.gif

長いtextファイルの場合

約10万文字のtextファイル

https://scrapbox.io/files/663f2533a52854001cccc4c9.png

6万字付近に、商品情報をのせた。

初回は、Searching my knowledgeは表示せず不正解

https://scrapbox.io/files/6640c7f6c80ae8001db4cd70.gif

1/5で、Searching my knowledgeが出現し成功した

https://scrapbox.io/files/6640d309b196a7001df697b7.gif

100万文字のファイル

中間より後ろに、商品情報を入れた

https://scrapbox.io/files/663f225595c452001c88a1ea.png

初回に正解！

https://scrapbox.io/files/6640d05d26d826001d29af48.gif

3/5の精度で、Searching my Knowledgeしてくれた。

https://scrapbox.io/files/6640d18224586f001c06ba3a.gif

200万文字のファイル

https://scrapbox.io/files/6640c9531b1e2c001da642f1.png

https://scrapbox.io/files/6640cb7e2f6405001db29313.png

怒られたので、もう少し減らす。

198万文字でupload成功

https://scrapbox.io/files/6640cc75b196a7001df66aab.png

一発で、Searching my Knowledgeが出現し、正解！

https://scrapbox.io/files/6640cccbc6ffce001d924aaf.gif

ただ毎回成功するわけではなく、3/6くらいの精度

https://scrapbox.io/files/6640cf2194cd0e001c694028.gif

結果

100万文字以下のテキストファイル

プロンプトに追加させられるため、ベクトル検索にならない。

それゆえに、Searching my Knowledgeが走らない。

100万文字以上のテキストファイル

約半数の確率で、初回にベクトル検索が走った。

Searching my Knowledgeが表示された。

2024年5月現在、OpenAIのV1 Assistant APIドキュメントの文章は、概ね当てはまると思われる。

・短いドキュメントの場合はプロンプトにファイルの内容を渡す。

・長いドキュメントの場合はベクトル検索を行う。