nnabla
https://www.youtube.com/@nnabla
ソニーで働く研究者たちが、自社開発中のオープンソースソフトウェアや最先端論文などの最新AI情報をお届けします。
再生リスト
【Deep Learning研修（発展）1】推論最適化のためのコンパクト化技術
https://www.youtube.com/watch?v=rtvu-VBBF6A&list=PLbtqZvaoOVPAfYStzaWQTTZV9Ngq-u6m4
第１回「Introduction」
第２回１「NN基本コンポーネント」
1. Inner product
1. Affine
2. Convolution
3. Attention
2. Normalization
1. Batch Normalization
2. Other Normalizations
3. Pooling
1. Max Pooling
2. Average Pooling
4. Nonlinearity
1. ReLU
第２回２「NN基本アーキテクチャ」
1. Convolution Neural Network (CNN) and Residual Network (ResNet)
2. Transformer
3. MLP
第３回１「基礎：ナイーブ手法」
コンパクト化のテクニックの基本的な手法
https://gyazo.com/5e4accd42414be7823e712f627d81a19
1. Naiveな手法
2. 蒸留
3. チャネルプルーニング
4. レイヤー間, ネットワーク間パラメータシェア
5. 分解,低ランク
6. シフト, シャッフル, ミックス
7. 量子化
8. NAS (Network Architecture Search)
Tips
https://www.youtube.com/watch?v=BFqfgsydJg4&list=PLbtqZvaoOVPAfYStzaWQTTZV9Ngq-u6m4&index=9
発展的な手法
量子化
ABC Net
Distillation x Quantization
Dynamic quantization
WrapNet
動的カーネル生成
Adaptive separable convolution
Dynamic convolution
Attention
Stand-alone self-attention (Local attention)
Kernel method (Linearization and approximation)
【Deep Learning 研修（発展）2】少ないデータやラベルを効率的に活用するための機械学習技術
https://www.youtube.com/watch?v=QT8R7yrloH8&list=PLbtqZvaoOVPBF8MypuGdfMKuc_fHhjp9-
少データ学習 : 少ないデータを効率的に活用するための技術
データ拡張、正則化(第2回)
転移学習・ ドメイン適応 (第3回 )
メタ学習 (第4回)
ラベル学習: 少ないラベルを効率的に活用するための技術
半教師あり学習 (第5回)
不正確な教師に基づく教師あり学習 (第6回)
【Deep Learning研修（発展 3）】データ生成・変換のための機械学習　第１回前編「イントロダクション」
https://www.youtube.com/watch?v=SfndfFvLQW8&list=PLbtqZvaoOVPB2WCoUt9VCsl7BQHRdhb8m
データ生成を行うモデルの学習
GAN (Generative Adversarial Networks)
基本的なアイデア (第2回)
損失関数、 最適化、 モデルアーキテクチャの改良(第3回)
VAEやFlowなど、 その他の生成モデル (第4回)
データ変換を行うモデルの学習
2種類のデータ変換 (1対1変換と1対多変換) と cycle consistency (第5回)
各種変換タスク、 モデルの紹介 (第6回)
【Deep Learning研修（発展 4）】系列データモデリング (RNN / LSTM / Transformer)　第１回「イントロダクション」
https://www.youtube.com/watch?v=WyWr-OKZ_0g&list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt
系列データを扱う際に構成要素として用いられる LSTM や Transformerなどのモデル、 機械翻訳など系列データから別の系列データに変換する際に用いられる Seq2Seq モデル、 近年の自然言語処理の発展に大きく貢献した BERT や GPT-3 などの事前学習済み言語モデルなどについて、 応用事例も交えながら紹介します。
【AI技術研修】nnabla-rlによる深層強化学習入門 第1回「深層強化学習とは？」
https://www.youtube.com/watch?v=KZ0pwIIBKYU&list=PLbtqZvaoOVPDyg5CB-28MVV0_Y-4W9Uwb
イントロダクション
深層強化学習とは? (第1回)
離散行動アプリケーションの学習
離散行動の強化学習とは?(第2回)
nnabla-rlによる訓練コードの実装と学習(第3回)
連続行動アプリケーションの学習
連続行動の強化学習とは?(第4回)
nnabla-rlによる訓練コードの実装と学習(第5回)
nnabla-rlの実タスクへの応用
学習環境の実装方法(第6回)
深層強化学習ベストプラクティス (第7回)
【説明可能なAI】【ソニーのAI技術紹介】ストレージに効率的なDNNデータクレンジング
https://www.youtube.com/watch?v=exG4zgtpeD0&list=PLbtqZvaoOVPBuMzwE27-yYKRr5Rwe80ht