Chess

https://scrapbox.io/files/6632dccc95bf0300242e2472.png

このタスクの目的は、チェスのゲームシーケンスに対する言語モデルの状態追跡能力を測定すること。

ゲームはUCI記法で符号化され、開始マスと終了マスを組み合わせて1手を表す（上図参照）。

具体的には、ゲームプレフィックスと現在の手の開始マスが与えられたとき、モデルは現在の手の合法的な継続、すなわち合法的な終了マスのいずれかを予測することが求められる。

推論タスクの一種

実際の例

入力プロンプトの例：

e2e4 e7e6 d2d4 d7d5 e4e5 c7c5 c2c3 b8c6 g1f3 g8e7 a2a3 a7a5 f1d3 c8d7 c1e3 d8

となり、以下のようなボード構成になる。

https://scrapbox.io/files/6632dd32e6386300249b179c.png

課題は、d8にある黒クイーンの駒を合法的に動かせるマスを予想することである。ここでは、d8にある黒クイーンは、"b8", "b6", "c7", "c8 "のどのマスにも合法的に動かすことができる。