LLMにカスタムの入力を入れる周りを理解する
仮説:
LLMにはカスタムデータを入力できる
たとえばsta.iconのScrapboxのjson(変換は挟むだろうけど)を食わせる、みたいなこと
知りたい
✅モデルの指定
何を使って何を用意してどこに何が入るのか、みたいなあたりの関係
1 openai api
2 openaiのライブラリ with pip install
3 openai.ChatCompletion.create(model=""でモデルを与える
3 指示はcreate(prompt=""で与える
あとは前回までのやりとりを保存してそこから再開するために、なんか保存処理をちょっとやらないといけないみたいだね
カスタムデータを入れるまでの手順と登場人物
Scrapboxのデータを入れるには?
すげえ、データ食わせてAIとして動かすってところができようとしているsta.icon
これ応用したら自分のスクボ食わせて「最強の自分」から意見引き出す、みたいなこともできそう……
が、こんなプロンプト思いつくほどのスキルはまだ俺にはないなーsta.icon
最近のクオリアさん
第二クールは不定期連載してた
さらに改良を重ねた結果「Scrapboxなどの面白い話題のページを読ませてクオリアさんの意見を聞く」ができるようになった
考察
1日1回くらい自分のScrapboxをクロールしてベクトルインデックスを作る
ここsta.icon*3
たぶんChatGPT(いやGPT-3?)にカスタムで学習データをインプットできるってことよな Keichobotに「ここまでの話で何か意見ある?」的なボタンをつける
そうするとそこまでの会話ログの人間側のインプットをクエリーにしてベクトルサーチして、文章生成して返事する
---
カスタムの入力を入れる、的なことができるらしい
とりあえず「LLMにどうやってカスタムの入力を入れるか」に興味があるので関係性知りたいんだけど、全然見えないsta.icon
登場人物からしてよくわからん
LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.
i/fらしい
たぶん「バックエンド(で使うLLM)」みたいな概念があると思うんだけど……sta.icon
どっかで指定すると思うんだけど
わからん
OpenAI APIにもmodelsが7-8個あって、どれ使うか選ぶ的な概念があるはずなんだが見当たらん!
---
どのモデル使うか選ぶはずなんだけどどうなってん?仮説違うか?
モデルを選ぶことはできないっぽい?
or デフォルトでは選ぶという概念自体がない
内部的にはGPT3.5(をベースとした何か)で固定?
2022年11月30日に、OpenAIが対話型AIモデル「ChatGPT」をリリースしました。こちらはOpenAIのChatページ (要アカウント登録&ログイン)から利用でき、AIと対話形式で様々な会話の推論を非常に高い精度で行うことができるものになります。
このモデルはGPT3~GPT4の間に当たるとしてGPT-3.5系のモデルと呼ばれており、「text-davinci-003」というモデルがAPIから利用可能なモデルとしてほぼ同時期に追加されたため、今回そちらのモデルを使って簡単なコマンドライン上で動く対話ツールを実装してみました。
わかった、ここだsta.icon*2
code:py
penai.Completion.create(
model='text-davinci-003',
gpt3.5 turbo