MTEB
https://scrapbox.io/files/663ef62339091b001d80d1bf.png
Massive Text Embedding Benchmark
大規模テキスト埋め込みベンチマーク
MTEBは、合計58のデータセットと112の言語をカバーする8つの埋め込みタスクにまたがる。
MTEBを構成する8つのタスク
https://scrapbox.io/files/663ef6e039091b001d80d438.png
MTEBの設計理念
https://scrapbox.io/files/663ef6bdabbb69001d727412.png
日本には、MTEBのような、統⼀的 & タスク横断的なベンチマークが存在しない課題があり、日本語版のJMTEBが開発されている。
参考
論文: https://arxiv.org/abs/2210.07316
GitHub: https://github.com/embeddings-benchmark/mteb
JMTEB: https://jedworkshop.github.io/JLR2024/materials/b-3.pdf