Deep Learningを使ったモザイク除去
動画プレイヤー
例えば5秒程度の動画のモザイクを外すだけでも、5分程度の処理時間がかかるのです。
低解像度画像を高解像度にするアルゴリズム
画像
DeepCreamPy
アニメキャラの性器のモザイクを取る
乳首やanusは非対応
消えている
製作者がPCをなくして不正利用されたので製作者がアカウントを全部けした?
fork
序章 DeepCreamPyで遊ぼう
1章 機械学習・ディープラーニング・畳み込みニューラルネットワーク
ディープラーニングがなぜ従来の機械学習と違ってもてはやされるのか
畳み込みニューラルネットワークと画像処理の畳み込みの違いは何か、NNの関数で表現するにはどうするのか
画像処理の畳み込みはニューラルネットワークの関数ではDepthwise Conv
TensorFlow2.0のTPUはどう使えばよいのか
2章 超解像ベースのモザイク除去
モザイク除去の最もシンプルなアプローチは超解像ベース
モザイクと超解像の関係
PSNRの評価指標
3章 U-Netによるモザイク除去
Image to image translationのアプローチによるモザイク除去
Squeeze and ExcitationやSENetの派生系による大域特徴を加味したCNN
ガウシアンフィルタ、ラプラシアンフィルタやフーリエ変換による画像の周波数特性
モザイクの周波数特性は何か
Perception Distortion Tradeoffの考え方
5章 OPYデータセット
機械学習ではデータありきで語られることが多いが、データセットを1から作るにはどうすればよいのか
データセットを作るメリットとは何か
データクレンジングやリークに注意してデータを作るにはどうすればいいのか
6章 Partial Convolutions(ECCV 2018)によるモザイク除去
P-Convがやっていることとは何か
グラム行列と相関行列の関係性
7章 Generative Adversarial Network
DCGAN, Hinge Loss, Spectral Normalizationの考え方
Spectral NormalizationがGANの安定性に寄与する直感的な理解、リプシッツ定数のコントロールとは何か
8章 Gated Conv(ICCV 2019)によるモザイク除去
Contextual Attentionの考え方
ニューラルネットワークで画像のコピペとはどう再現するのか
画像をパッチ分割するのにはどうするのか
Gated Convレイヤーの考え方
9章 PEPSI(CVPR 2019)によるモザイク除去 Contextual Attentionの改良
REDやDiet PEPSIの発想
10章 Edge Connect(ICCV 2019)によるモザイク除去
お絵かきのアプローチをGANのモデルに導入する
Self Attentionを導入する
Edge Connectが使いやすい点とは何か
11章 紹介できなかった論文・おわりに
主に2019年に発表された最新研究を簡単におさらい
Inpainting多めだが、新しく出てきたOutpaintingについても紹介