Content-aware Effect
#Technique
画像内の「特徴的な」部分に関するエフェクト類
https://www.youtube.com/watch?v=qadw0BRKeMk
動画はContent-aware Image Resizeの説明動画
Content-aware とは
語源はSIGGRAPH2007で発表された論文?(Seam carving for content-aware image resizing )
ITで「Content-awareness」という単語はあるが、エフェクトとしての意味はここから発祥していそう
Adobeの「Content-aware Scaling」「Content-aware fill」などでも
Adobeの日本語訳では「コンテンツに応じた」
Content-aware effectの種類
Content-aware scale
Seam carvingという「画像内の「どうでも良い部分」を横切るような線群を発見する」アルゴリズムを用いて、その線付近の画素を編集するエフェクト
seam curvingではなく、seam carving (carving≒"彫刻")
Adobe Photoshopなどでも利用できる
顔などの画像などにおいて、Content-aware effectを用いて極端に縮小した画像は、前衛的なMVやミームなどに取り上げられている
Arca - Mequetrefe
Discordのミームbot not so bot では、コマンド.magik を用いることで、Discord上からcontent aware scaleエフェクトを適用した画像を出力してくれる。
content aware scalingのmeme wiki みたいなウェブサイトに、ミームの作成の仕方やエフェクト効果などが説明されていた(ちゃんとネタの制作者やポスト日時などが時系列で説明されている)
サイトの下に検索数のグラフがあったが、2008-2009年あたりに急増していた。
SIGGRAPH2007で論文が発表された後、ミームに利用され広まった?
新たなContent aware effectを用いたmemeを考える質問記事 を見つけた。
seam carving (画像切り抜き) 試してみた - Qiita
https://github.com/esimov/caire を用いてコマンドライン上でエフェクトを適用することが可能
動画用に改善したアルゴリズム
Content aware image resizing using Deep Learning - Medium (深層学習からアプローチした記事)
Content-aware fill
Adobe Photoshopで利用できるエフェクト
画像内の指定された領域を、周りの領域から埋め合わせを推定し、オブジェクトを「なかった」ように編集するエフェクト
写真やフォトグラメトリな3DCG画像などへの適用はある程度精度が高いが、イラストなどには、単調なノイズが乗りやすい
参考資料・作例・プロジェクト・リポジトリなど
SIGGRAPH2007 "Seam carving for content-aware image resizing"
Content Aware Image Resize - YouTube
(CaireというリポジトリのREADME.mdに記載されてあった論文のPDF)
Improved Seam Carving for Video Retargeting - YouTube
Caire / Content aware image resize library - Github
seam-carving / A fast Python implementation of Seam Carving for Content-Aware Image Resizing.- Github
Arca - Mequetrefe - YouTube
seam carving (画像切り抜き) 試してみた - Qiita
Content Aware Meme Effect
content-aware fillをスマホで使えるアプリを紹介しているツイート
一般向けにバズっているツイート
tiktokのスリットスキャンエフェクトにしかり、content-aware fillが一般の方々に使われるようになったとき、どんな煮詰まり方をするのか気になった
英語版のwiki seam carving