生成元文章ランクアルゴリズムの提案
キーワード
RAG、プロンプトエンジニアリング、LLM、機械学習
Webの登場
検索エンジン
PageRankアルゴリズム
人間にとって有益な情報のランク付
SEO
LLMの登場
自然言語生成
RAGやプロンプトエンジニアリング
LLMに事前知識を与えて、固有の質問に回答させる。
どのような知識をLLMに与えるのか?
ここが焦点
現状は
キーワード検索、全文検索、ベクトル検索
意味が似ているものを与える。
しかし、本当に意味やキーワードが似ていれば解決策なのか?
LLMにどのような事前知識を与えるのか
どのような知識をどのように検索させるのか?
その目的はLLMによる万能で精緻な回答による知的生産の向上
すなわち検索→生成へ
人間にとって
Googleのアルゴリズムは有益になるようにしている
しかし、ハックが起きるSEO対策、まとめ記事
LLMにとって従来の人間にとって有益な記事は本当に有益なのか?
ユーザーに対する回答への、的確な文脈や知識が重要
現状では部分的に有益、RAG
RAGの引用方法アルゴリズムの開発
やりたいこと
RAGのR
Retreverのアルゴリズムの研究
現状
キーワード検索
全文検索
ベクトル検索(メイン)
ナレッジグラフ
結構ナレッジグラフは有益