RAGはエコーチェンバーを加速するか

RAGはエコーチェンバーを加速するか

LLMにRAGの形で「Xは悪である」みたいな価値判断を入れると、その価値判断が再現される確率は高くなる、多分そのことをさして「エコーチェンバーが加速」と表現しているのだと思う

一方で、メリットとして示した具体的な実例としては「生のLLMは自分が作ってるソフトウェアKozanebaのことを知らないからそれに関する議論もできないけど、RAGすればそれがどういう目的のソフトウェアなのか、どんな機能があるのかを知っててくれるので議論ができる」

これって「価値判断」ではなくて「知識」なんだよね

知識のつながり、ネットワーク、を「自分が今やっているプロジェクト」のところまで延長すること

それによって自分のプロジェクトがより効率よく進むようになれば実益が生まれる

エコーチェンバーのリスクを避けたいとして、それの実現手段が「LLMにパーソナライズされた情報を入れないこと」なのはメリットとデメリットのバランスが取れていないように感じる

そのLLM以外の多様な情報源に触れるのがいいんじゃないかな

そもそもRAGするかどうかは簡単に切り替えられるので「読んでるLLM」にバイアスの懸念があるなら「読んでないLLM」に切り替えて使えばいいだけ

まあ読んでないLLMですらバイアスはあると思うが。

LLMにバイアスがあるのか「膨大な情報を読んで判断してるLLMに対して、ごく僅かな情報しか読んでないくせに自分の判断の方が優れてると思ってる自分」にバイアスがあるのかは検証困難だと思うけどね

技術自体はニュートラルで、それを自分の価値判断を肯定させて確証バイアスを高める方向に使うこともできれば、「反論」や「違う視点」を出力させて議論を深めることに使うこともできる

使い方は人間の手に委ねられてる

「反論」を出力させるにしても、プロジェクトの知識をしっかり把握しているAIに反論されるのの方が、よくわかってなくて見当違いなことを言ったり、プロジェクトの個別の事情を把握せずに一般論を言ったりするAIよりも有用なので、やっぱりRAGで知識共有することは有用なのではないか

ところで「エコーチェンバーを加速する」「忖度」という表現から、暗黙にそれらのことを「悪」であると価値判断してそうな雰囲気を感じた

エコーチェンバーが悪であると考えることは一面的な物の見方だと思う