LangChain
docs
github
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう-langchainのご紹介-
LangChain の チャットモデル (ChatGPTの新しい抽象化) を試す|npaka
GPT-index
長い文章を入れたい時に、indexを貼って解決
embeddingされたvectorとtextを対応つけながら保存しておく
GPTに質問文を入力する際に質問文のembeddingと保存されているembeddingの類似度を計算
llama_index, Question AnswerPrompt, GPTSimpleVectorIndex
Retrieverモデルっぽいな
正確なデータはむずかしそ〜
LangChain
Agent:ユーザーからの入力に合わせてツールを選択して、情報追加
Google検索とか他のLLMとか使って、頑健性UP
正確性を極めるのはかなり難しい
fine-tuningしたものよりも、index貼った方が優先されそう
中をいじればいろいろできそう
英語で返して翻訳して返すとか良さそう
pdfの文字情報を取ってくる、
パワポだったら、ビジョンイメージトランスフォーマーで画像をテキストにしたり
かなり汚いものが入っている、本当はPDFじゃない方が良い、そもそもテキストでかかれてる方が良さそう
LangFlow
質問を具体化し一つ一つ回答することで精度向上するのがgpt_indexでもできるようになったとか
LangChainの使い方
ChatGPT Retrieval Pluginに任意のベクトル検索エンジンProviderを実装する
やっぱちゃんとするには、LangChainでPythonに渡して処理するしかない、GPTだけで終わらせることを考えてはいけないな
Langchainの良いguide
非構造化データをどのように扱うか
LangSmith
LangSmith クイックスタートガイド
LangFlow
LangGraphでのHuman-in-the-loop
LangGraph