Embedding model

Ruri: 日本語に特化した汎用テキスト埋め込みモデル

https://zenn.dev/hpp/articles/b5132c64c40d24

OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる

https://hironsan.hatenablog.com/entry/2023/07/05/073150

Embedding in Recommender Systems: A Survey

https://arxiv.org/pdf/2310.18608

A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems

https://arxiv.org/pdf/2406.17335

Embedding Compression in Recommender Systems: A Survey

https://arxiv.org/pdf/2408.02304

https://jina.ai/news/quantization-aware-training-of-jina-embeddings-v4/

Jina AI が jina-embeddings-v4 において Quantization-Aware Training を実装し、埋め込みベクトルのサイズを大幅削減しながら性能を維持する手法を公開。Post-training quantization と Output QAT、Full QAT、蒸留の4つの量子化手法を比較し、8ビット整数では4倍、4ビット整数では8倍、三進量子化では40倍、バイナリ量子化では64倍の圧縮を実現。NanoBEIR ベンチマークでの実験により、単純な事後量子化よりもファインチューニングを伴う QAT が優れた性能を示し、特に4ビット量子化でベースラインを上回る結果を得た。

SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts

https://arxiv.org/abs/2507.13105