FurryGAN: High Quality Foreground-aware Image Synthesis

[IsHYuhi]

INFO

author

Jeongmin Bae, Mingi Kwon, and Youngjung Uh^*

affiliation

Yonsei University

conference or year

2022

link

arXiv
Project page

概要

Foreground-awareな画像合成は前景のマスクと画像を生成することを目的としている．
一般的なアプローチは前景と背景の画像のブレンドとして定式化することである．このアプローチは前景と背景が意味なく分離してしまうという微妙な解に陥ってしまうため，困難な問題である．この研究ではFurryGANを提案, 3つの重要なキーポイントを示す．

1. 前景画像と合成画像の両方をリアルにする
2. coarse & fineなマスクの組み合わせとしてマスクを表現
3. discriminatorのauxiliary mask predictorによってgeneratorをうまく誘導

この研究は，教師なしで髪の毛や毛皮，ひげなどをカバーする精細なアルファマスクと共にリアルな画像を生成することを可能にした．

提案手法

前景画像には顕著なオブジェクト(人物など )が含まれている必要があり，そのような前景に対応するマスクの解が存在するようにする．そうでなければ，マスクが前景を含むことを除外するように学習してしまう(Composit画像を作成する時に前景が含まれないように学習してしまう)．そのような不適切な前景分離を防ぐため，Generatorは前景画像と合成画像の両方を生成し，どちらもFake Imageとして識別器に入力することで，前傾画像と合成画像の両方でよりリアルな画像を生成するようにする．

Loss

mask prediction loss

mask consistency loss

マスクの一部が欠落してしまうことがあるので，合成画像から予測されるマスクは，前景画像から予測されるマスクと一致するとしてlossを取る．そうすることで，マスクの欠落を防ぐ．

coarse mask loss

全てのピクセルの平均が0.35より大きい時にlossが0になる.
全てのピクセルが0になってしまうことを防ぐように．(focal lossやdice lossのような不均衡に対するloss)

fine mask loss

coarseの場合と逆に，1-mの平均が0.01より大きい時にlossが0になる.

検証

新規性

議論，展望

Comment

date

Sep. 20th, 2022