ベクトル検索って、単語単位でもよくね？
from 2024/09/17
ベクトル検索って、単語単位でもよくね？bsahd.icon
それぞれの検索クエリのキーワードをAIで拡張し、大量のパターンにする
そのシステム、ベクトルでなくとも「単語に似た単語」のDBがあれば実現できる
Helpfeelがデータ側を拡張させるなら、クエリ側を拡張させてもよさそう
word2vecがこれだっけtakker.icon
その後LLMが登場し、単語ではなく文章全体を考慮したベクトル検索が容易になった、という認識
単語単位で済む場面もあるだろうけど、それで十分ならEmbeddingは広まらなかったはず
単語単位で十分な場面と、そうでない場面があるのだろう
具体的にどんな場面があるのかは/work4aiの人たちが詳しそうtakker.icon
その辺の話はwogikaze.icon先生にお任せしております🏳️nomadoor.icon
教えてwogikaze.icon先生！takker.icon
→ベクトル検索って、単語単位でもよくね？#66ec25485e90c000002f33bc
単語単位で十分な場面
単語単位で十分でない場面
検索する人が単語単位で検索しないからnishio.icon
Helpfeel Tech Conf 2024で関連する話題があった気がするtakker.icon
Helpfeel Tech Conf 2024#66ca93531280f000008991fcだったかも
欧米人は疑問文で検索するんだっけ(思想強井戸)bsahd.icon
BERTで文脈を考慮して検索(2019~)できるようになった気がするwogikaze.icon
それまでも、queryの単語が近くにあったほうが関連性が高いっていう検索はしてた(2013~)
この時は単語ベースだった気がしなくもない
それ以外の場面