RAG
(Retrieval-Augmented Generation)
public.icon
ファインチューニングとベクトル検索の合わせ技
ファインチューニングでは、LLMが持っていない知識を、LLMに追加で学習させ、LLM自体を賢くするというアプローチでした。それに対し、ベクトルストア併用の構成では、LLMが知らない情報をベクトルストアにため込んでおいて、LLM単体ではなく、ベクトルストアとの合わせ技で最終的な回答を作れるようにします。
あまり専門用語は使いたくないのですが、これはRAG(Retrieval-Augmented Generation)と呼ばれるテクノロジーとして非常に有名な構成で、LLMが持っていない知識をLLM外部の情報ソースで補うことを目的としています。
https://gyazo.com/2332cf7303b8003eef0934360c67b748
https://qiita.com/ksonoda/items/ba6d7b913fc744db3d79
>「rag」には、生成AI技術の「Retrieval Augmented Generation(検索拡張生成)」RAGは、大規模言語モデル(LLM)の回答精度を高めるために、外部のデータベースや最新情報を検索して活用する技術です。
fine-tuningとText-embeddingの違い