記号推論タスクをどう評価するか?
https://scrapbox.io/files/65cf03f8b175da00254b62d4.png
データセット
こちらのchain-of-thought-ja-datasetを使う
https://github.com/nlp-waseda/chain-of-thought-ja-dataset
人名を姓と名に分け、姓の最後の 1 文字、名の最後の 1 文字を順に組み合わせた 2 文字を解答するタスク
参考資料
https://www.jstage.jst.go.jp/article/pjsai/JSAI2023/0/JSAI2023_3T1GS602/_pdf/-char/ja