transformersの文書分類の例のrun_glue.pyをGLUEのデータについて動かす

まずREADMEに沿って動かせるものを動かす

mrpcタスクについて動かした

2つの文章が類似しているか判定するタスク（GLUEベンチマーク）

GPUが必要なのでColabで

以下をセルに入力して実行

モデルやデータセットのダウンロード込みで10分かからないくらい

code:train.ipynb

!cd transformers/examples/pytorch/text-classification/ && \

python run_glue.py \

--model_name_or_path bert-base-cased \

--task_name mrpc \

--do_train \

--do_eval \

--max_seq_length 128 \

--per_device_train_batch_size 32 \

--learning_rate 2e-5 \

--num_train_epochs 3 \

--output_dir /tmp/mrpc/

output_dirに指定した/tmp/mrpc下に結果が保存されている

参照したREADMEと全く同じ数値ではないが、再現した

code:/tmp/mrpc/README.md

This model is a fine-tuned version of bert-base-cased(https://huggingface.co/bert-base-cased) on the GLUE MRPC dataset.

It achieves the following results on the evaluation set:

- Loss: 0.3988

- Accuracy: 0.8456

- F1: 0.8912

- Combined Score: 0.8684

詳細なスコアは/tmp/mrpc/all_results.jsonや/tmp/mrpc/eval_results.jsonにある

今回動かしたいのはマルチラベル分類

GLUEの中に文書分類のデータセットはある？

参照したREADMEにimdbデータを使う例があった