(Hitachi-Survey) LAYOUTGAN: GENERATING GRAPHIC LAYOUTS WITH WIREFRAME DISCRIMINATORS

written by Ryuku

目的

意味論的・幾何学的関係をモデル化し、異なる要素間の依存関係を学習することで、レイアウトの自動生成を行う。

手法

GANを利用

Generator : 関係をモデル化し、レイアウトを生成

Discriminator (2種類が提案)

関係ベース識別器：グラフィック要素間の関係性を直接識別に用いる。

ワイヤフレームレンダリング識別器：グラフィック要素をラスタライズして画像をワイヤフレーム化してから要素の配置を識別に用いる。

Generatorの構成

https://gyazo.com/f87a19567ebae99a6d5cb23e522c6fe2

pi, θiは、それぞれi番目の画像クラスラベルとその幾何学的な位置である。

Generatorは、ランダムにサンプリングされたこれらのパラメータを入力として、

グラフィックレイアウト{(p'1, θ'1), ..., (pN, θN)}を生成する。ここで、θ = (X1, Y1, X2, Y2)のバウンディングボックス、あるいはスケールとフリップを考慮したθ = (X, Y, S, F)のグラフィクレイアウトである。

Discriminatorの構成

https://gyazo.com/c6099029a6c491bb269b23fae73c6189

結果

Figure5 は、6つの要素 (少女、太陽、木、少年、帽子、メガネ) のセットの配置の生成結果である。DCGANでは、空に太陽が二つあるレイアウトが生成されている。20人の参加者を対象とした主観評価では、ワイヤフレームレンダリングが最も高い結果となった。また、提案されたどちらのモデルも全体的にDCGANより高い評価を得ている。(Table 3)

https://gyazo.com/773c76caf3c50ac6d58d1cb3e069e420

https://gyazo.com/2efbcba3ea0fca4e6ed5dc2337681668

Li, Jianan, et al, "Layoutgan: Generating graphic layouts with wireframe discriminators", arXiv preprint arXiv:1901.06767, (2019)