GPT-2’s activations predict the degree of semantic comprehension in the human brain

Charlotte Caucheteux, Alexandre Gramfort, Jean-Rémi King

bioRxiv April 21, 2021.

GPT-2はTransformerベースの多層NNであり，大規模コーパスで前後の文脈からマスクされた単語を予測するような訓練により作成される．翻訳や受け答えタスクなどで高いパフォーマンスを発揮する一方，基本的な質問にでたらめの回答をしたりするので本当に文章を理解しているのかについてよく議論されている（「20$持っていて，10$あげた．今，私が持っている金額は」を入力すると「20$」と答えるらしい）．本論文は脳との比較によってその疑問に迫っている．

https://gyazo.com/142f0692c0b71e589e420d39be473757

図1. A：計70分程度の文章をGPT-2に入力し，各ユニットの活性化値（X）から同じ文章を聴いたヒトの脳活動（Y）を予測する線形モデル（f◦g）を作成し，その相関（M(X)）をBrain Scoreとして計算．また，ヒトに対しては理解度テストを行い，理解度とBrain Scoreとの相関（R）がこの論文のメインの解析．平均すると0.33（P<1e-6, D）で，脳各領域におけるMとRはそれぞれBとE，及びGで示されている．C：CtrlとしてPhonemic（単語の出現率，音素の出現率，アクセントなど）な特徴量だけから脳活動を予測したり，GPT-2の単語embedding値のみから脳活動を予測したりしている（文脈要素を含まない，Word）．また，GPT-2の各層における予測精度の違いも示している．中間層で最も高い．F：Phonemicな特徴量と理解度との相関が高かった脳部位は聴覚野付近，語彙と理解度の相関が高かった脳部位は上側頭葉と三角部（ブローカ野の一部），文脈など高次な特徴量と理解度との相関が高かった脳部位は上前頭回，上側頭回，楔前部，弁蓋部・三角部（ブローカ野）であった．

補足. 理解度を予測する混合線形モデル

$ C_{w_i} = (~β + β_w) ×w_i + (~η + η_w) + ε_{w_i}

を作成し，提示文章の違いによる効果と被検者の個体差による効果を比較している．文章固有の効果よりも全文章共通の回帰係数のほうが有意に大きな値を示したことから理解度のばらつきは主に個体差によるものである．

つまり，文章を理解している脳をGPT-2は予測しやすい=GPT-2は文章を理解していると言えそうだ，ということ．しかし，脳との一致率は33%程度でまだまだ説明できていない部分のほうが大きいし，理解度チェックテスト自体の厳密さの限界もあるため，ざっくりとしたことしか言えなさそうだ．とはいえ，脳，行動，機械学習を結びつけるアプローチとしてはとても参考になった．

最近，GPT-2と脳を比較する論文を何報か見かけることが増えたように思う．