GLUEベンチマーク - nikkie-memos

GLUEベンチマーク

https://gluebenchmark.com/

https://paperswithcode.com/dataset/glue

https://huggingface.co/datasets/glue

load_metricにGLUEを指定した例

https://huggingface.co/docs/datasets/loading.html#distributed-setup

過去の例

https://github.com/nyu-mll/jiant (~2021/10)

(deprecated) https://github.com/nyu-mll/GLUE-baselines

含むデータとタスク（data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language 5.3より引用）

natural language inference (MNLI, QNLI, RTE)

sentence similarity (MRPC, QQP and STS-B)

sentence similarity 気になる

grammaticality (CoLA)

sentiment analysis (SST-2)

データは8つ含む（らしい）