深層学習（ディープラーニング）
#アルゴリズム
深層学習とは
ニューラルネットワークの発展形として深層学習（ディープラーニング）がこの10年の人工知能ブームを牽引
あるひとつの「ディープラーニングモデル」があるのではなく、古典的なニューラルネットワークより深くユニットが結合されたニューラルネットワークを総称して「ディープラーニング」とよぶ
深層学習いろいろ
畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）
画像認識等で非常に高い性能
空間フィルター（畳み込み処理）、プーリングなど、画像認識のための工夫（特徴量を自動抽出するようなしくみ）を加えた多層ニューラルネットワーク
https://gyazo.com/b97317d8152c1416396ddcdbe00c88f2
図の引用：伊庭斉志, 「進化計算と深層学習―創発する知能―」（2015）
AlexNet（2012年）、VGGNet（2014年）、GoogLeNet（2014年）、ResNet（2015年）、等々と、画像の分類モデルとしてのさまざまなアーキテクチャの深層学習が発展
リカレントニューラルネットワーク（RNN）
再帰的な結合を許すニューラルネットワーク
時系列データに有効
https://gyazo.com/da08d0b6b68296ac05f3979812b1971f
図の引用：伊庭斉志, 「進化計算と深層学習―創発する知能―」（2015）
深層学習による自然言語処理モデル
RNN以降、自然言語処理のモデルとして、深層学習をベースにさまざまなモデルが発展
LSTM（Long Short Term Memory）
GNMT（Google's Neural Machine Translation）（2016年）
Transformer（2017年）
BERT（2018年）
GPT（Generative Pre-trained Transformer）
GPT-1（2018年）、GPT-2（2019年）、GPT-3（2020年）、GPT-4（2023年）
2022年にGPT-3.5ベースのChatGPTがリリースされて大きな話題に…