ベクトルDBの限界

AIにリソースとして与えるデータ構造について

結論

ベクトル表現は、データポイントを数値ベクトルとして意味的にエンコードし、Word2vecやBERTのようにテキストデータを効率的に処理する

https://scrapbox.io/files/658223089dc20b0023b61bd0.png

しかし、ベクトルはデータ間の明確な関係を欠き、高次元空間での検索と解釈が難しくなる。

また、文脈の手がかりが失われ、複数のベクトル間の多段階推論や説明可能な類似性スコアが困難。

・ベクトルはデータ間の明示的な構造化された関係を欠いています。接続は暗黙的に推測されなければなりません。

・ベクトル空間は非常に高次元になり、検索と解釈が困難になります。距離的なメトリックが意味を失います。

・ 位置、シーケンス、ソース階層などの重要な文脈手がかりは、ベクトルとしてエンコードすると失われます。

・ 明示的な接続がなければ、複数のベクトルをまたいでの多段階推論は困難です。

・ ベクトルの類似性スコアには固有の説明が不可能です。類似性マッチは直感に反することがあります。