G検定学習メモ
MapReduce
2012年に提案された分散並列技術
内部共変量シフト
ある層の入力がそれより下層の学習するにつれて変化すること
大規模ニューラルネットワークの学習が困難になる原因の1つ
バッチ正規化
層ごとに入力を正規化する
内部共変量シフトに対応するために2015年に提案された
ニューラルネットワークにおけるハイパーパラメータの例
隠れ層の数
活性化関数
学習率
ハイパーパラメータチューニング
グリッドサーチ
各ハイパーパラメータの候補値を指定し、組み合わせを調べる方法
ベイズ最適化
最適化問題を解くための一般的な手法をハイパーパラメータチューニングに応用することが可能
エルマンネットワーク
RNNの一種
音声認識に用いられる
音声処理においては、RNNではなくオートエンコードダーが高い精度を記録している
目的関数
最小化（最大化）するターゲットとする関数
損失関数 = 誤差関数
コスト関数
勾配降下法の種類
バッチ勾配降下法
ミニバッチ勾配降下法
確率的勾配降下法
定理系まとめ
バーニーおじさんのルール
学習に必要なデータ量の目安を示すルール
モデルのパラメータの10倍程度とされる
次元の呪い
リチャード・ベルマン
（数学的）空間の次元が増えるのに対応して問題の算法が指数関数的に大きくなることを表す
ノーフリーランチの定理
アルゴリズムに関する示唆
全てのタスクに対して常に他よりすぐれている万能的なアルゴリズムは存在しないこと
醜いアヒルの子の定理
純粋に客観的な立場からはどんなものを比較しても同程度に似ているとしか言えないこと
深層学習のモデルの分類
確定的モデル
多層パーセプトロンに基づくモデル
確率的モデル
ボルツマンマシン系による深層学習モデル
自然言語処理関連のキーワード
bag-of-words
文章に単語が含まれているかどうかを考えてテキストデータを数値化
TF-IDF
「逆文書頻度」。単語が「レア」なら高い値を、「色々な文書によく出現する単語」なら低い値を
単語の重要度を特徴量とする
word2vec
2層から成り、テキスト処理を行うニューラルネットワーク
特徴量ベクトルを出力する
強化学習
エージェント
行動を学習する主体
環境
エージェントが行動を加える対象
行動に応じて環境はエージェントに、状態と報酬を返す
機械学習の重み更新に関わる単位
イテレーション
重みが更新された回数
エポック
訓練データを何回繰り返し学習したかを表す（何回勾配を降下したか）
バッチサイズ
一回のイテレーションに用いるサンプル数
蒸留
精度を損なわずに計算負荷の小さいモデルを訓練することを可能にする手法
大きなニューラルネットワークなどの入出力をより小さなネットワークに学習させる技術
すでに学習されているモデル（教師モデル）を利用して、より小さくシンプルなモデル（生徒モデル）を学習させる手法
生徒モデルを単独で学習させる場合よりも過学習を緩和される
CNNのパラメータについて
全結合層のパラメータは畳み込み層と比較して極めて少ない
ランダムサンプリングによって有用な特徴量を画像の位置によって大きく変化させない
AIに対する著名人の反応
「人工知能の進化は人類の終焉を意味する」
スティーブン・ホーキング
「人類はAIによって悪魔を呼び出そうとしている」
イーロン・マスク
「私もＡＩに懸念を抱く側にいる一人だ」
ビル・ゲイツ
人物
Yann LeCun
FacebookのチーフAIサイエンティスト
1998年 ResNet
Andrew Ng
Courseraの創業者
Geoffrey Hinton
トロント大学教授
オートエンコーダー
Terry Winograd
スタンフォード大学教授
人工知能については否定的
人工知能研究の変遷
パターン処理 -> 記号処理 -> 知識の蓄積
人工知能研究の路線
Google Facebook路線
言語データによるRNNや映像データからの概念・知識理解を目指す
UCバークレー路線
実世界を対象に研究を進め、知識理解を目指す
Deep Mind路線
オンライン空間上でできることをターゲットにして知識理解を目指す
表現学習における「よい表現」
説明要因の階層的構造
タスク間の共通要因
要因の依存の単純性
物体検出
対象物がどこにあるかをボックスに切り分けて、対象物を推定するタスク
物体セグメンテーション
対象物体と背景をピクセルごとに詳細に切り分けて、そのピクセルごとが示す意味を推定するタスク
画像キャプション
画像処理と自然言語処理の融合分野
対象となる画像をCNNに入力
CNNから得られた特徴をLSTMに入力する
画像生成
GAN
画像生成器と画像識別器から構成
画像生成器は、画像分類器を騙すような画像を生成
画像識別器は画像生成器から出力された画像と本物の画像を分類するようにそれぞれ学習
画像セグメンテーションのタスクに用いられる
CNNとの対応
逆畳み込み層
CNNにおける畳込み層との逆操作を行う
アンプーリング層
CNNにおけるプーリング層の逆操作を行う
線形モデル
重回帰
多変量解析の一つ。 回帰分析において独立変数が2つ以上（2次元以上）のもの
重回帰における各項のパラメータを偏回帰係数という
モデル誤差
モデルによって出力された値と実際の測定値の誤差
求めようとする真の回帰式から算出される値と実際のデータとの差
残差
実際のデータを用いて推定された回帰式（真の回帰式ではない）から算出される値と実際のデータとの差を表します。
ドローンを飛ばすのにky化を必要とする空域
150m以上の高さの空域
人工集中地区の上空
空港等の周辺の上空
欠損値への対応
ステップワイズ法
回帰分析の結果の自由度調整済R二乗値(Excelでは補正R2)、F値(Excelでは有意F)と係数のp値(ExcelではP-値)を見ながら、どの組み合わせが最も当てはまりが良いかを探る方法
リストワイズ法
欠損があるサンプルをそのまま削除
畳み込みニューラルネットワーク
LeNet
1998年に提案された、現在最も広く使われているCNNのもととなるモデル
初めて多層CNNに誤差逆伝播法を適用
AlexNet
2012年のILSVRCで優勝したモデル
トロント大学のSuper Visionというチーム
GoogLeNet
2014年のILSVRCの分類問題において最も高い精度で優勝
VGG16
2014年のILSVRCでGoogLeNetに劣らず高い精度を出した
ResNet
2015年のILSVRCで多くの部門でトップ
層が深くなってもうまく学習できるモデル
出力と入力と入力からの差分の和で表現したニューラルネットワークモデル（残差学習）
教師あり・なしとニューラルネットワークの対応
教師あり学習
VGG16
教師なし学習
オートエンコーダー
強化学習
DQN
End-to-End学習（一気通貫学習）
ロボットの一連の動作生成をひとつのDNNで実現しようとするもの
歴史
AIブーム
推論・探索の時代
トイ・プロブレム
知識の時代
エキスパートシステム
1960年代 DENDRAL
1970年代 マイシン（MYCIN）
第５世代コンピュータ
機械学習・特徴表現学習の時代
ディープラーニング
人工知能という言葉の出現
1956年のダートマス会議
ジョン・マッカーシー
AI効果
AIでなにか新しいことが実現され、その原理がわかってしまうと「それは知能ではない」と思ってしまう心理
知識表現
イライザ
基本的にはオウム返しをするだけ
あたかも本物の人間と対話しているような感覚に陥る（イライザ効果）
意味ネットワーク
「概念」をラベルの付いたノードで表し、概念感の関係をラベルの付いたリンクで結んだネットワーク
オントロジー
Cycプロジェクト
すべての知識をコンピュータに取り込もう
オントロジーは知識を体系化する方法論
is-a関係
part-of関係
ヘビーウェイトオントロジー
ライトウェイトオントロジー
完全に正しくなくても良い
データマイニング