機械学習の歴史

これらは人工知能研究の先駆けといえる研究である

Perceptron は当時大いに話題になり， 第一次ニューラルネットワークブームの火付け役 になった。同時期に 1963 年に Vapnik らが線形 の Support Vector Machine(SVM)を提案してい る。しかし，同時に線形学習機の限界が指摘されニューラルネットワークの冬の時代を迎え る。

しかし，1980 年の福島邦彦によるネオコグニ トロンや誤差逆伝搬法の再発見により， いわゆる深層学習が実現されていった

これにより XOR 関数の表現など非線形な学習が可能にな り，第二次ニューラルネットワークブームを引き起こした

さらに，多層パーセプトロンの万能近似能力が証明され深層学習の理論的裏付けも進んだ。

しかし，深層学習は凸最適化問題として定式化 されず，局所最適解しか得られないという問題がある.

その問題を解決する方法として，カーネル 法による SVM が提案されたカーネル法は， 数理最適化手法による高速な学習が可能である.

1990 年代から 2000 年にかけて，データから学習する統計的学習が発展し，統計学との融合が進んだ.それによってビッグデータ解析に機械学習 が用いられるようになった.その間に機械学習に おいて盛んに研究された統計的手法として，代表 的なものは Lassoに代表される高次元スパー ス推定や，トピックモデルに代表されるベイズモデリングがある.また，大規模データにおい て高速に学習を実現させるための確率的最適化手 法も発展した.確率的最適化は元をただせば 1951 年に統計学の分野で提案された Robbins と Monro による stochastic approximation に端を発 している。

一方で，深層学習の研究も 2006 年の deep be- lief netといった形で継続はされていたが，しばらく研究のメインストリームからは外れていた. しかし，2012 年の ImageNet Large Scale Visual Recognition Competition(ILSVRC)において畳み 込みネットワークを用いた AlexNetが前年度 から大幅に精度を改善させて優勝したことから深 層学習研究が再興し，第三次ニューラルネットワ ークブームが起き現在に至っている.