What does it mean to understand a neural network? | arXiv (2019)
T. P. Lillicrap, Konrad P. Kording
https://doi.org/10.48550/arXiv.1907.06374
我々はたった数行のコードで物体認識を行うNNを作れるが、そのNNがどのように物体認識をしているのかわからない
分散表現(Distributed representation)
Naa_tsure.icon重みを変化させることでNNが学習するのは分かるが、その重みの数値からNNの機能を解釈することができない
ノードが10個程度ならまだしも、100,000個になった時にどのようにそのNNを"理解"することができるのか？
機械学習(Machine Learning; ML)
compressibility
NN自体はノードが多ければ複雑なシステムと言えるが、実装自体はたった数行のコードで行うことができる
この圧縮性が理解には重要なのでは？
Naa_tsure.iconKnowledge Distillationとかも複雑なタスクをできる限りコンパクトに解く(圧縮する)作業とも言える
でも、MNISTを解くNNですら人間は満足に理解することはできない
NNすら理解できないのに人間の脳を研究して満足に理解できるのか？
発想を変えて、重みやユニットの活動から計算ルールを導くのではなく、
その何かしらの計算ルールを形成する学習則やアルゴリズムから攻める方が”理解”に繋がるのでは？
Naa_tsure.icon現代のレベルで説明がつくのが、ここまでという感じ
ハエとかの回路は説明しているように思えるが…