数理脳科学（2018）
2018.7.19木
最適化問題と神経回路モデル
トラベリングセールスマン問題
対称結合 $ w_{ij} = w_{ji}
$ E = \frac{1}{2} \sum_i \sum_j w_{ij} x_i x_j \rightarrow \min 二次形式
学習は，ない？
2018.7.12木
特別講演 7.13金 武田光夫先生
https://gyazo.com/75f305bf3467efeac4ade6347f492908
AIプログラミング入門 Rubyで数独 p.109
https://gyazo.com/eeb2ad44c8f413b483972c3be042b76d
Pixellot https://www.pronews.jp/pronewscore/wp-content/uploads/2018/07/180704_nagoyatv_03.jpg 2018.6.29
コードのテスト用． １１例． $ n_1 =n_2=3 ，左から6個が観測データ $ y_1^1,\cdots,y_3^1 と $ y_1^2,\cdots,y_3^2
その次の3つが順に $ S_{god}, S_{template}, S_{parts}
code:txt
-2.374593 -0.351085 -1.321531 -0.760213 -1.648919 0.109547 0.000029 0.000029 0.000071
-0.580579 -0.290689 -0.693912 0.481983 -0.546138 0.699707 0.006040 0.006508 0.008962
-1.359291 -0.876276 -0.399702 -1.038187 0.095572 -1.856385 0.000072 0.000072 0.000180
0.085935 1.157730 1.219631 0.985720 1.453719 1.347967 0.736473 0.895864 0.503411
1.756108 -0.485005 0.405614 -1.524621 0.217606 -0.912879 0.007950 0.009548 0.015643
0.627976 -0.865978 -0.315772 1.478273 -0.862290 0.208124 0.019281 0.021284 0.026275
-0.003125 -0.217298 1.662933 2.069679 -0.830998 -0.722302 0.087999 0.105295 0.123261
0.991601 0.817052 2.336581 -0.882893 -0.351582 1.498283 0.286544 0.576990 0.315260
1.339703 -0.311888 0.544923 0.037391 0.965426 -0.997299 0.062010 0.074443 0.097721
-1.150932 -0.284402 0.440061 0.363640 0.138614 2.041266 0.049874 0.072402 0.029027
0.411545 0.506547 0.977087 -0.382018 0.906475 -0.564923 0.076335 0.095877 0.116655
単純な課題でも，自分でゼロからコードを書いて実験してみると，いくつもの疑問が湧いて出てくる．
要点
単純な課題でも，自分でゼロからコードを書いて実験してみると，いくつもの疑問が湧いて出てくる．
隠れ層の素子数2では，結合係数の初期値を変えて1000通り試しても，このような回路は発見できない？
本当に発見できない？
「学習できない」とは？
「学習が終わらない」→「学習が終わる」とは？
プログラムのバグ？
横軸に時間 t，縦軸に E をとり，描いてみる．E が減っていけば，とりあえず OK.
結合係数の初期値を論文に書かれている値を設定する．壊れていけば（Eの値が上昇？），どこか間違えている．
https://gyazo.com/031bde631d22496c9da8bfbb4483bf06https://gyazo.com/18e80d7dc71fda10f598af3e68767841
2018.5.31
ほぼ2ヶ月．週2回の講義．ほかの講義も履修．ここまで達成．何が違うのか．
２つのダイナミックス
活動のダイナミックス （はやい）
学習（重み）のダイナミックス （ゆっくり）
学習のダイナミクス
微分方程式をイメージすればよい．重みの空間をイメージ．
ランダムな初期値
動いていく．
どこかで止まる → （安定平衡状態に収束）．
Bias and Variance
意味
例題の数
パラメータ（結合係数、しきい値）の数
誤差
学習誤差
汎化誤差
Deep Learning
今後の予定
来週 （台風到来など）予備日のため，講義なし．
Cov. N. N.
時系列の学習（RNN）
確率的生成モデル （課題2） $ \times 3
特別講演
まとめ
2018.5.17
課題進捗状況確認
きれいなコード
Github
バグ？
考察すべき点
いろいろ試す
隠れ層の素子数
素子出力の表現．(-1,1) モデル，(0,1) モデル
k-最近傍．これは作る．
雑談
2018.5.10
配布プリントに誤植あり！
$ g(u) = \frac{1}{1 + e^{-u}}
お手本コード
Python: Back-Propagation Neural Networks Neil Schemenauer <nas@arctrix.com>
C: 15-Oct-94 Jeff Shufelt (js), Carnegie Mellon University
Index of /afs/cs.cmu.edu/project/theo-8/faceimages/code
github で，backpropagation でコードを検索してみる．
きれいなコードを発見したら，教えてください！
https://gyazo.com/aa72aa2c1d44f44d00cfa4605a5dd372https://gyazo.com/e7e75dc85529a209ee6fffff4e23bbfc
2018.4.26
2018.4.19
Rubyで数独：AIプログラミング入門（近代科学社，佐藤理史 著）
https://gyazo.com/2823139fcc173fbf4603b20fb2457234
現在流行中（Python, TensorFlow, Chainer, GPU, CNN, LSTM）これらは別の機会（自主勉強会？）に．
↑ 2日程度でわかるものではない．学ぶきっかけは大事．本を自分で読めるようになればいい？
古典：ニューラルネット研究の歴史．それぞれのモデルの定式化
例からの学習（教師あり学習）
自己組織化のモデル （教師なし学習）
自己組織化マップ（SOM）
ボルツマンマシン
連想記憶モデル
強化学習
back-propagation
学習アルゴリズムを導出
コードをゼロから書く。
XOR 問題
例からの学習（教師あり学習，パーセプトロンなど）\cite{rumelhart86b,amari89a}}
【問題設定】
入力とそれに対する望ましい出力（教師信号）のペア$ (x^1, y^1),(x^2, y^2), \cdots (x^m, y^m) が多数（$ m 個）与えられているとする．ここで $ (x, y) はある確率分布 $ \Pr(x,y) にしたがっているとする．このとき $ x^\alpha を入力すると， $ y^\alpha を出力するような回路を作りたい （$ \alpha=1,2,\cdots,m ）．目的は，与えられた例題に対してだけではなく，望ましい出力が与えられていない未知の入力 $ x に対しても，正しい答え $ y を出力できる回路を作ることである．「問題の本質」がどこにあるのか分からない場合に使える．
2018.4.12
成績評価：レポート 100%
コンピュータプログラムを書く
本物の脳，人工的な
ニューラルネットワーク
Real and Artifitial Neural Networks
ANN: Deep Leaerning （深層学習） と 強化学習