GPT-2による単語埋め込みと神経活動の親和性
Posted March 19, 2021.
Ariel Goldstein, Zaid Zada, Eliav Buchnik, Mariano Schain, Amy Price, Bobbi Aubrey, Samuel A. Nastase, Amir Feder, Dotan Emanuel, Alon Cohen, Aren Jansen, Harshvardhan Gazula, Gina Choe, Aditi Rao, Catherine Kim, Colton Casto, Fanda Lora, Adeen Flinker, Sasha Devore, Werner Doyle, Daniel Friedman, Patricia Dugan, Avinatan Hassidim, Michael Brenner, Yossi Matias, Kenneth A. Norman, Orrin Devinsky, Uri Hasson
GPT-2はSelf-Attentionベースの大規模ニューラルネットワークであり，公開されている言語生成モデルとしては最もパフォーマンスが高いと思います．Attentionは前後の単語関係以外にも広範な文脈を捉えたうえで単語をベクトルに埋め込むことで高い精度を実現しています．本論文ではGPT-2の学習で埋め込まれた単語ベクトルと神経活動を互いに互いから予測できることを示しています．
【手法】
ECoG電極（116 ch）を埋められたてんかん患者に物語の一節（10単語）を聴かせ，次の単語を予測させるタスクを行った．ヒトとGPT-2はどの程度次の単語を予測できるか（Fig. 1），GPT-2による埋め込み含む様々な単語ベクトルから神経活動を予測できるか（Fig. 2-5），神経活動から単語ベクトルを予測できるかを検討（Fig. 6,7）
【結果】
・ヒトとGPT-2は同程度の精度で次の単語を予測できる．予測する対象の単語によって予測のしやすさはばらつきが高く，ヒトとGPT-2はその相関が高い．
・Encoding 文脈を考慮したGPT-2による単語ベクトル，前後のみの共起関係のみを考慮した統計的埋め込み単語ベクトル（GloVe），単語の統計的性質を完全に含まない人為的な埋め込みベクトル（Arbitrary）の3種のベクトルから線形回帰で神経活動を予測．予測精度はGPT-2>GloVe>Arbitrary
・Decoding 神経活動からCNNで3種の単語ベクトルを予測．真のベクトルとのコサイン類似度からROC-AUCを計算すると，GPT-2>GloVe>Arbitrary．
【考察】
文脈を考慮した埋め込み方のほうが神経活動と親和性が高く，これは一次聴覚野にも有意に表れていたので，デコーディング研究をするうえで意識したいと思いました．また，これまで考えられてきた通り，左右差についてもかなり顕著で，圧倒的に左半球のほうが言語情報を含んでいるようです．また，有意に予測できるタイミングが単語提示の1秒程度も前から現れており，predictive coding研究にも有用に思います（GloVeやWord2Vecでは数100 ms前くらいから）．
GPT-2を使ったデコーディングは最近流行ってきています．自分も試してみたいと思います．
参考）