#19 VRMから線画を作成しstyle2paintsで半自動着色する https://gyazo.com/7ae6e98afd2dd8850cc961ee0edb1474
基本情報
はじめに
3DモデルのVRMから線画を抽出するついでに自動着色もさせてみることにしました。 https://gyazo.com/61a58c4b460794b0b49fd55739a98e7a
特徴として完全な自動着色だけでなく、人間が色ヒントを配置することで半自動着色をすることができます。
この半自動着色がとても便利
けしごむ.icon定期的に話題になっている気がします…
公式リポジトリ
導入方法
以前とくらべて簡単になっていました。
リポジトリにあるgoogleDriveのリンクからダウンロードしてインストールするだけです。
動作要件
Windows 64ビット
.NET Framework 4.5
Nvidia GPU
AMD製は未対応でパフォーマンスが10分の1ほどに落ちるそうです
線画の作成
線画以外にもモノクロ画像を生成する色々な方法を試してみます
https://gyazo.com/214849c6d4f5348f7168778f5c3c2b78
輝度でモノクロ化
https://gyazo.com/9442e7240ecd436b926581f7d756dee5
https://gyazo.com/d65a3463aedc4957686f1dee253c402a
https://gyazo.com/33bb24fcc704542b084a958a071ff5d5
https://gyazo.com/a11aac0f3b2dbf2a538b86f292e94b12
ソース画像に異なるガウスぼかしを掛けたレイヤーを除算モードで合成する
https://gyazo.com/5d73e54c95411f940342b512e49bf994
けしごむ.icon線画としてはこれがすごくいい感じ 自動着色の結果の比較
色ヒントを使わずに出力した画像を比較してみます
基本的に色ヒントによる効果が大きいのでこの結果はあくまでも一例です。
モノクロ画像
ソース画像
https://gyazo.com/214849c6d4f5348f7168778f5c3c2b78
輝度でモノクロ化
https://gyazo.com/9442e7240ecd436b926581f7d756dee5https://gyazo.com/c09aeafc2a69ea9975779ff27b634a21https://gyazo.com/73b4d63e3303208d4d1845c3fafa3e0e
https://gyazo.com/d65a3463aedc4957686f1dee253c402ahttps://gyazo.com/9b5f4e118087c35488a51a6e3b568788https://gyazo.com/e2eb7b767bca557870cea50c82f975e2
塗りはいいかんじなのですが最後にモノクロと合成する都合上、ベストや髪が濃く塗られていると結果に制限がかかります。
モノクロ画像より線画の方が入力に向いてそうです
線画
https://gyazo.com/33bb24fcc704542b084a958a071ff5d5https://gyazo.com/d7b1d2b414a5030662bdf35ffb7faf68
Sobelフィルタ
https://gyazo.com/a11aac0f3b2dbf2a538b86f292e94b12https://gyazo.com/0fcfa5e4ae7a1f818b3af17f9c64c3a1
異なるガウスぼかしを掛けたレイヤーを除算モードで合成
https://gyazo.com/5d73e54c95411f940342b512e49bf994https://gyazo.com/3248789a42ad5abe4ef2204c249b020f
先に結果を言ってしまうとこの三つは色ヒント機能を使うとどれも同じレベルのクオリティの絵を得ることが出来ます。
この次は個人的な好みでガウスぼかし と 除算による線画をつかってやっていきます。
色ヒントを使った出力の調整
例えば瞳の色を変えたいとします。
瞳の暗い部分・瞳孔・瞳の暗い部分に青系の三色を配置
魔法のステッキボタンを押すと再計算されます。
https://gyazo.com/32aa5050e74be990e68a0bc00c04d84d
こんな感じで反映されます。
とくに望む完成形がない場合は左側のカラーセットを変えつつ、気にいった部分をスポイトしてそのまま同じ場所に色を配置すると配色を保持できます。
最終的にこんな感じになりました。
https://gyazo.com/b9c9f864ed659649a2e1297e3ffee011https://gyazo.com/fe606531a8c01ac9d7dce0315f39c236
けしごむ.iconかなりいい感じ
複雑なポーズ
そこで少しいじわるなポーズで試して見ます。
https://gyazo.com/ae13a25af49c7b2f7a8b5eb5c2460eed https://gyazo.com/64651857f4b764c47601e4d54373ee8a
注目したいところ
顔が正面を向いていない
右手が腕と被っている
左手が隠れているところ
靴下と足とローファーの境界
出力結果
https://gyazo.com/1c95f8c0101b8ca3de11281a352551f2https://gyazo.com/df325737458812ea9488833a477ed216https://gyazo.com/4d323594eaae1a9671b579283be61728
一枚目が初期の出力画像です。
初期状態だと足の部分がうまくいっていないです。
右手も服の色と同化しています。
二枚目は色ヒントを配置した結果です。
上記の問題点をおおむね修正できていると思います。
3枚目が最終的な出力結果です。
まとめ
今回はVRMから線画を作成したあとstyle2paintsを使って半自動着色を行いました。
元々はVRMの線画作成アプリの仕組みを考えるついでだったのですが、
既存の物で3Dモデル -> 線画 -> 着色 が実現できそうなので先に共有することにしました。
こういったツールによって、こだわりたいところにより注力できるようになるのは個人的には嬉しいです。
おまけ：出力例
色ヒント機能を使うと線画の種類はあまり関係ないかもしれません。
いろいろなパターンで作成してみたので参考にしてみてください。
https://gyazo.com/382168bab5d636363c5e2bb25cc2fa7chttps://gyazo.com/b03866cc1f03d809b5907938818c720a
https://gyazo.com/9d0c9b242fb62183143aaa896f289cd7https://gyazo.com/eefa448d12129b949af100dc28547f29
https://gyazo.com/78a9f4394f986a973b336929f744d57ehttps://gyazo.com/8fad571feea7ebdf4fefde72f1a45f64
輝度でモノクロ
https://gyazo.com/0229723f3c4bb88dab7b4ce9a7ac724chttps://gyazo.com/0cc7fc1e388123215074c9109337cc12
ガウスぼかしと除算
https://gyazo.com/21b888f22b381a700e0b7ef960d32172https://gyazo.com/5de3efe5c4977f13dc4d341a77693b29
https://gyazo.com/b9c9f864ed659649a2e1297e3ffee011https://gyazo.com/fe606531a8c01ac9d7dce0315f39c236
参考