機械学習
en.
machine learning
分野と概念
モデル
統計的なモデルだと言われる。
cf.
統計モデル
生成モデル
RAG
https://learn.microsoft.com/ja-jp/azure/search/retrieval-augmented-generation-overview
deep learning
ja:
深層学習
models
多層 neural network
aka.
neural network
abbr. NN
CNN
Transformer
e.g.
LLM
手法
誤差関数
最尤法と同等
数値的・確率的に解く くらいしかできない。
勾配法
⊃ 確率勾配法
問題
勾配消失問題
対策
活性化関数
正則化
誤差逆伝播法
en: Back Propagation
自動微分
を使って計算する。
cf.
数式処理
ref.
https://ja.wikipedia.org/wiki/自動微分
部分的な学習
e.g.
転移学習
fine tuning
特徴
膨大なパラメーター
pro: 万能近似性
con:
過学習
、
過適合
、
過剰適合
→ 汎化性能
#IT