授業ノート Dec 19 2019
RBF（動径基底関数）ネットワーク
データがサンプリングされていることを意識する
サンプリングされた、何らかの雑音が載ったデータしか得られない
RMSE（Root Mean Squared Error）近似関数の良さの指標
「真の関数」は、実際は分からない。演習では、設定してあった
「良いモデル」→「汎化能力（性能）が高い」という：真の関数との誤差が小さいモデル
ユニット数1＝山が一つしかない
ユニット数を増やしていくと：
学習データとの誤差は小さくなる
真の関数に対する誤差は、あるところまでは小さくなるが、また大きくなり始める→汎化できなくなる＝過学習（Over-learning）してしまう
汎化能力の高いモデルを探すことを目的とする
モデリング
教師あり学習
入出力の関係を表現する
Complexityの程度を考えることが命題
シンプル過ぎても、複雑過ぎてもいけない
bias error（バイアス誤差）とvariance error（分散誤差）から最適な複雑さのモデルを求める
未知のデータに対応できる能力→汎化能力
training dataと test dataを用意する
モデルの複雑さに関するトレードオフがある
スペシャル課題1
RBFの幅→標準偏差のこと
正則化パラメータ：「重み」を設定する：正則化最小二乗法などで「結合重み」を推定できる
学習データ数（サンプルサイズ）による結果の違い→サイズを大きくすると真の関数に合わせやすくなる→データがたくさんあれば分布が推定できる→雑音の分布を推定できる
Big dataとDeep learning
パラメータをデータに基づいて最適化する→「学習」の本質
自動的なパラメータ調整法
ランダムサーチ
グリッドサーチ
ベイズ最適化
進化計算
統計的手法であることを年頭に置いておく：サンプリングされているので、たまたま得られてたデータであることを覚えておく
テーマ6について
最適化問題
最適化と進化計算
遺伝的アルゴリズム