OAI Assistant API File Search
fileを uploadして、vector storeに登録して、assistantで特定のvector storeをfile searchで登録して、応答
threadにテンポラリにファイルを登録するのも可能
run実行時に、include=step_details.tool_calls[*].file_search[*].contentに?include[]=step_details.tool_calls[*].file_search.results[*].contentを入れる。たぶん、library別に実装がある。restだと...
How it works
ユーザークエリのリライト
複数の検索にして、並行してその検索をする？
keyword検索、セマンティック検索の両方する
Rerankもする。設定はautoのみ
File Searchの仕様
10,000ファイルまで。
chunkは800tokens, overlapは400tokens
これはファイルごとに設定可能(100から4096まで)
csvなどは小さめに設定するべきかも。
逆に、documentは広く、power point(presentation)は、スライド単位に...ファイルを別にする？
embeddingは3-large 固定
拾うchunk数は最大20(変更可能)
playgroundからも可能だし、request時に設定可能
score threashholdは0 (変更可能)
request時に可能ぽいが、、反映されない？？
meta dataは、distillationや fine tuning用で、file_searchのfileなどには関係ない？