JMMLU
https://github.com/nlp-waseda/JMMLU
MMLUの一部を日本語に翻訳した問題(翻訳問題)、および、日本独自の文化的背景に基づく問題(日本問題)によって構成される4択問題。
大規模言語モデルの日本語能力の評価に用いられることを想定されている。
様々な分野の問題が入っている
https://scrapbox.io/files/65cf068fcc6bac0024fe6e24.png