CoPA

言語の理解能力を評価するために設計されたテストの一つで、モデルが文脈に基づいて論理的な推論ができるかどうかを測るために用いられる。

CoPAタスクでは、モデルに短い物語やシナリオが提示され、それに続く最も妥当な結果や原因を選択させる。

このタスクは通常、次のような形式で行われる：

1. 前提（事実や状況の記述）：例えば「子供がケーキを焼いた」という文が与えられます。

2. 質問：モデルは、プレミスに基づいた「原因」か「結果」を選択するよう求められます。

例えば、「なぜ？」（原因を求める）または「その後何が起こった？」（結果を求める）。

3. 選択肢：通常、二つの選択肢が提供され、モデルはどちらがより妥当かを選びます。

例えば、「子供がお母さんからレシピをもらった」（原因）か

「キッチンがいい匂いでいっぱいになった」（結果）などです。

CoPAは、AIが文脈を理解し、因果関係を推論できるかどうかを評価するのに役立つ。

このようなタスクは、AIモデルの理解力や推論能力を測るために重要。

1000問の問題で構成され、500問ずつの開発セットとテストセットに等分されている。各問題は前提条件と2つの選択肢で構成され、前提条件との因果関係がより確からしい選択肢を選ぶことが課題。正しい選択肢は、ランダムに推測した場合の期待値が50%になるようにランダム化されている。

具体例

https://scrapbox.io/files/65a12f2ee0999100234f8118.png