回帰と分類

教師あり学習の問題は回帰と分類に分けられる。

回帰は入力に対して連続した数値を割り当てる問題。

分類は、入力に対してクラスを対応づける問題

D次元線形回帰モデルの解析解

線形回帰モデルの場合、目的関数を最小にするwは以下の式で解析的に求めることができる。

w =(XTX)^-1XTt

ここで、wはパラメータベクトルとなり、Xは常に１をとるダミー入力を加えたデータ行列でtは目標データのベクトル

線形基底関数モデル

回帰に使われる以下のモデルを線形基底関数モデルという。曲線や曲面を表すことができる。

wはパラメータベクトルで、φが基底関数のベクトル

畳み込みニューラルネットワーク

空間情報を検出する空間フィルターを使ったニューラルネットワーク。空間フィルターのパラメータ自体を学習する。

プーリング

入力画像のズレに対する強さをネットワークに付加するテクニック。最大プーリングや平均プーリングと言う方法がある。

ドロップアウト

ニューラルネットワークの化学式を防ぎ精度を上げる手法です。ニューロンの接続の1部をランダムに選んで無効にしながら学習させる。