機械学習/Deep Learningで迷子にならないための地図
機械学習/Deep Learningで出てくる用語の関係性を階層構造で示す
使い方
勉強しててわからない単語があれば、ここで検索する。
全体構造に対するその単語の階層関係がわかる。
課題
そろそろ階層で整理するのが苦しくなってきた笑
独断と偏見で、階層に当てはめる＆複数の階層に同じワードが出てきても良いにするとよいか。
前提知識
数学
線形代数学
微分
AIの歴史
1956年のダートマス会議 (ジョン・マッカーシー)
ニューラルネットワークの歴史
第一次ニューロブーム (単純パーセプトロン)
第二次ニューロブーム (誤差逆伝播法の発見多層パーセプトロン)
第三次ニューロブーム (ディープラーニング)
Deep Learning周りの知っとくと良い有名人
Geoffrey Everest Hinton
Yoshua Bengio
Andrew Ng
機械学習の知識
教師あり学習
分類
分類器
線形分類器
識別関数
識別的モデル
生成的モデル
非線形
ランダムフォレスト random forests
ニューラルネットワーク
その他
回帰
線形
線形回帰
ロジスティック回帰
非線形
ニューラルネットワーク
時系列
自己回帰移動平均モデル ARIMA (Autoregressive Integrated Moving Average)
教師なし学習
クラスタリング
ハードクラスタリング
k-means clustering
ソフトクラスタリング
次元削減/Visualization
Principal component analysis PCA 主成分分析
MDS 多次元尺度構成法
Stochastic Neighbor Embedding SNE
t-SNE
強化学習
エージェント
モデル
ベースライン Baseline
技法
Support Vector Machine (SVM) サポートベクターマシン
決定木学習
Random Forest
Neural Network
Layer 層
入力層 input layer
隠れ層 hidden layer
出力層 output layer
よく使うレイヤー
Dense
Dropout
Batch Normalization
Activation 活性化関数
ReLU
シグモイド関数
Softmax
Pooling Layer
Max Pooling
Average Pooling
Convolutionnal Layer
Backbone 骨格
ネットワークモデル
Deep Neural Network → これがDeep Learning
Recurrent Neural Networks (RNN)
Long Short Term Memory (LSTM)
Transformer
Convolutional Neural Network (CNN)
Layer
Pooling Layer
Max Pooling
Average Pooling
Convolutionnal Layer
学習方法
オンライン学習
ミニバッチ
Gradient Descent
Batch Gradient Descent
Mini-batch Gradient Descent
Stochastic Gradient Descent (SGD) 確率的勾配降下法
学習率修正アルゴリズム
AdaGrad
RMSProp
Adam
Backpropagation バックプロパゲーション 誤差逆伝播法
損失関数 誤差関数 loss function
cross entropy 交差エントロピー
最小二乗
正則化項
shrinkage 縮小推定
ridge regression リッジ回帰
weight decay 荷重減衰（ニューラルネットワーク）
データセット
訓練（学習）データ train
検証データ val validation
cross validation
ホールドアウト集合
ラベル / Annotation
EDA (Exploratory data analysis
前処理
Segmentation
Augmentation
特徴量エンジニアリング
カテゴリ特徴量
テキスト特徴量
評価手法（Evaluation/Metrics）
数値
RMSE
MSE
MAE
mAP (Mean Average Precision
gMAP (geometric MAP
Precision
Recall
F1Score
PR
PR-Curve
ROC
ROC-Curve
ランキング
nDCG (normalized Discounted Cumulative Gain)
MRR (Mean Reciprocal Rank)
統計学
ベイズ統計学
ベイズ推定
特定分野の機械学習
推薦 Recommendation
Popularity
コンテンツベースフィルタリング
協調フィルタリング (Collaborative Filtering)
Cold start問題 Cold Start
First Rate問題
情報検索 Information Retrieval
モデル
BM25
learn to rank
pairiwse
pointwise
listwise
画像認識、画像処理 Computer Vision
Object Detection
Object Segmentation
評価
IOU
ネットワーク
faster RCNN
Mask RCNN
Autoencoder
自然言語処理 Natural Language Processing
特徴量抽出
TF (Term Frequency)
IDF (Inverted Document Frequency)
TF-IDF
BOW (Bag of words)
ngram
Word2Vec
Doc2Vec
ネットワーク
RNN
BERT
Attention
開発環境
SoftWare
Docker
Anaconda
Jupyter Notebook
PyCharm
ONNX
Caffe2
machine learning library
Xgboost
scikit-learn
deep learning library
MXNet
tensorflow
Session
Graph
Node (operation)
edge (tensor)
chainer
Keras
Functional API
Sequential API
PyTorch
Python
機械学習アルゴリズムライブラリ
sklearn
分散処理
Hadoop
Spark
PySpark
RDD Resilient Distributed Datasets/Spark RDD
MapReduce
numpy
pandas
matplotlib
再現性を維持する
リーダブルコード
ディレクトリ管理
HardWare
nvidia
Jetson
Tesla
NVIDIA Tesla
DRIVE
NVIDIA Volta
NVIDIA GDX-1
NVIDIA GDX-2
Turing
Pascal
Tensor Core
CuDa Core
NVLink
CuDa
SDK
NCCL
cuBLAS
cuSPARSE
Tensor RT
Deepstream SDK
DALI
Kernel
クラウドサービス
AWS Amazon Web Services
Amazon SageMaker
Amazon SageMaker Neo
Elastic Inference
AWS Glue
Amazon Elastic File System / EFS
AIサービス
Amazon Personalize
Amazon Forecasting
GCP Google Cloud Platform
AutoML
書籍
機械学習
PRML
Deep Learning
ゼロから作るDeep Learning
ゼロから作るDeep Learning2
未分類の用語たち
Kullback-Leibler divergence カルバック・ライブラー情報量 KLダイバージェンス KL情報量
ベイジアンニューラルネットワーク（BNN）
SMAPE Symmetric mean absolute percentage error
尤度関数（ゆうどかんすうと読む）
最尤推定
決定理論
SIMD