機械学習で2Dイラストを動かす
概要
機械学習を使って2Dイラストを動かす話題についてまとめるページです。 Live2Dを使うなどイラストにアノテーションしてから動かすのではなく、一枚のイラストだけから動かす技術を中心にまとめています。
包括的にまとめているものではありません。
時系列
全身立ち絵と人間が動いている動画を入力として、全身が動いているイラストを出力。
nekketsuuu.icon 実際にブースで私が質問したところ、訓練データとしてそれぞれの立ち絵に関節のデータをアノテートしたものを頑張って作って使っている、というようなことを伺いました。
※後に2019年12月にも展示を行います。下の方に書かれています。
顔のイラストと声を元に、動いている顔のイラストを出力。
https://www.youtube.com/watch?v=kVW84sJPooY
nekketsuuu.icon 公表当時、開発者本人によるツイートがバズっていました。
2019年9月、IRIAMが立ち絵が1枚あるだけで配信できるシステムを開発していることを公表。 2019年12月現在αテストとして公開されているのは、立ち絵とiPhoneで映した動画を元に、目と口が動いているイラストを出力するもの。
https://miro.medium.com/max/768/1*oAddg8CmbKiAbc6JNFgedw.gif
「表情をつける」既存研究と「顔を回す」既存研究を組み合わせたもの。
訓練データとしてMMDのモデルをレンダリングしたものを使用。
リンク集
https://www.youtube.com/watch?v=FioRJ6x_RbI
nekketsuuu.icon 上のオバマ大統領を使った動画を紹介するこのツイートが発端となってバズった印象です。
ゲームアニメーション用途が想定されているようだ。
今日初公開のキャラ編集機能もコミケ現場で展示しております
2020年8月、「ツイキャス Vメイカー」がリリースされる。 「ツイキャス Vメイカー」は、誰でも簡単にバーチャル実況配信ができることを目的として開発されたスマートフォンアプリです。目や口など、動かす部位のパーツ分けやモデリング、専用の機材や専門的な知識は不要です。たった1枚のキャラクター画像をアプリに読み込ませるだけで、AIが顔アニメーションを自動生成し、自分の顔の動きに合わせてリアルタイムで表情をトラッキングしながらキャラを動かすことができます。
https://www.youtube.com/watch?v=2yqenOki4lI
2021年5月、IRIAMのイラスト配信機能で瞳、まゆ、傾きも動くように。
https://www.youtube.com/watch?v=NOKme-yeRvc
https://www.youtube.com/watch?v=aOkgYM3gOmA
補足・関連