2024/10/11 TextEmbedding から分類器を作りたい
あと VertexAI の TaskType Classification な Embedding 作る意味があるかが知りたい
候補
pkshatech/GLuCoSE-base-ja-v2 · Hugging Face
intfloat/multilingual-e5-large · Hugging Face
実装例
RandomForest
openai-cookbook/examples/Classification_using_embeddings.ipynb at main · openai/openai-cookbook
NN
cookbook/examples/Classify_text_with_embeddings.ipynb at main · google-gemini/cookbook
generative-ai-docs/site/en/gemini-api/tutorials/text_classifier_embeddings.ipynb at main · google/generative-ai-docs
いろいろ
Text Classification Using Word Embeddings
日本語LLMまとめ | LLM-jp
日本語テキスト埋め込みベンチマークJMTEBの構築 - SB Intuitions TECH BLOG
この Classification スコアは sklearn の LogisticRegression と KNeighborsClassifier
sbintuitions/JMTEB@fd5d438 - src/jmteb/evaluators/classification/classifiers.py#L34
分類によさそうなデータ
JCoLA shunk031/JGLUE · Datasets at Hugging Face
自然な文とそうでないもの、train は 1:6 で自然が多め
MTEB Amazon Massive Scenario
https://huggingface.co/datasets/mteb/amazon_massive_scenario/viewer/ja
⽇本語埋め込みモデル評価ベンチマークの構築 b-3.pdf
めちゃいい資料
正規化の有無
STS，ClusteringとPairClassificationが顕著な差がないが、ClassificationとRetrievalにおいては明らかに正規化しない⽅がスコア⾼い。
JCoLA うまくいかない
完全に失敗しているやや不均衡でここまでなるか 、あとでアンダーサンプリングしてみる
https://gyazo.com/1358fb0cd653dd86edfc4cbcdd39fd38
文の意味というより係り受けや品詞によるものが大きいかな? とはいえ品詞だけ見ても不自然ではないかも
全部 0 (unacceptable) のデータだけど、別によくね? というのもちらほらある...
https://gyazo.com/9ae69e0157def23cdb6d9472172ccf50
Dependency-based word embeddings - 係り受けに基づく日本語単語埋め込み - LAPRAS AI LAB とか?
SentenceTransformer の embedding は mean_pooling に attention 加味したもの?
pkshatech/GLuCoSE-base-ja-v2 · Hugging Face の Direct Usage(transformer) の例はそう
MTEB Amazon Massive Scenario やる
label をカテゴリ ID にする
LabelEncoder — scikit-learn 1.6.dev0 documentation
fit して transform と inverse_transform で相互に変換
pandas で series.astype('category') して series.cat.codes
SentenceTransformer("pkshatech/GLuCoSE-base-ja-v2", device='mps') で Apple Silicon でも普通に動くし速い
Keras の SparseCategorical{Accuracy, Crossentropy} と Categorical{Accuracy, Crossentropy} の違いは、整数ラベルか one-hot かの違い [1, 2, 2, 0] or [[0, 1, 0], [0, 0, 1], [0, 0, 1], [1, 0, 0]]
pd.crosstab(df_test["label"], df_test["pred"]) でクロス表の混同行列作れる、いちいち pivot していたわ
validation_loss と loss が結構差開いても test セットの精度は十分高い (chance rate 5.5% に対して accu 89% とか)
Ealry Stopping (patience=3) でこれ、過学習疑うグラフだがそれほど悪くない
train: 0.95 / val: 0.89 / test: 0.89、val ≒ test で汎化能力は一貫している
https://gyazo.com/5de7090e7be4b0e94938739f3b501f95 https://gyazo.com/4e502c9ee1976a718d2935569b4852af
#Embedding