最近のDNNは脳に似ていない

Soma Nonaka,  Kei Majima,  Shuntaro C. Aoki,  Yukiyasu Kamitani

Posted July 25, 2020. bioRxiv

神谷研のDNNと脳の比較研究．これまではDNNにも人にも同じ画像を提示し，DNNの各ニューロンからどれほど被験者のfMRI信号を予測できるか？（encoding accuracy）によってDNNと脳の類似性が議論されてきました．その結果DNNのImageNet分類精度が高いほど脳に似ている（脳活動を予測できる）が，最近のDNNではその正の相関が弱くなってきている，ということまで分かっていました．本研究では特に階層性がどれほど似ているかに着目しました．予測の方向を逆にし，脳の活動からDNNの各ユニットの活動を線形デコーダで予測しやすいボクセルを抽出しています．V1, V2, V3, V4, HVCのうちどれが最も予測できるかを算出し，そのユニットが属する層番号との順位相関係数を算出し，Brain Hierarchy Score (BH Score)を提案しています．直感的にわかりやすく言うと，最初の層ではV1が予測しやすい脳部位であり，最終層に近づくにつれHVCが予測しやすい脳部位であるようなDNNはBH Scoreが高くなります．ImageNetの分類精度（top1）とBH Scoreの散布図をとってみると負に相関しました．つまり脳の階層性に似ないほどDNNの性能が良いことになります．最近のNASなどを使って出てきた最適化された構造のDNNはもはや脳とはかけ離れているようです．FC層の有無，Inception moduleなどの分岐の有無，ResNetなどのskip接続の有無，層の深さ，パラメタ数がBH Scoreに与える影響を見てみると，FCは有ったほうが，パラメタ数は少ないほうが，分岐はないほうが，層数は少ないほうが，skip接続はないほうがBrain Scoreを大きくするようです（効果の大きさの順に並べた）．最近の高度に最適化されたモデルは脳likeではないということをBH Scoreの導入によってはじめて見えてきた点で面白いですね．神谷先生はこういった絶妙な指標を考えるのが非常に得意なお方だと思います． そしてさらに面白いことにこのBH Scoreですが，以下のライブラリを使って計算することができます．手持ちのDNNで遊んでみても楽しいかもしれません．