arXiv reaDer
空間認識を高めることによるGAN平衡の改善
Improving GAN Equilibrium by Raising Spatial Awareness
Generative Adversarial Networks(GAN)の成功は、主にジェネレーター(G)とディスクリミネーター(D)の間の敵対的トレーニングに基づいています。それらは、Dが生成された画像を実際の画像と区別できない特定の平衡に達すると予想されます。ただし、このような平衡が実際のGANトレーニングで達成されることはめったになく、代わりに、Dはほとんど常にGを上回ります。そのソースの1つは、DとGの間の情報の非対称性に起因すると考えられます。は本物または偽物ですが、Gには、特定の合成のためにどの領域に焦点を当てるべきかについての明確な手がかりがありません。 DがGANでの競争を支配する問題を軽減するために、Gの空間認識を高めることを目指しています。ランダムにサンプリングされたマルチレベルヒートマップは、誘導バイアスとしてGの中間層にエンコードされます。したがって、Gは特定の画像領域の合成を意図的に改善することができます。さらに、Gの空間認識をDから誘導される注意マップと整合させることを提案します。このようにして、DとGの間の情報ギャップを効果的に減らします。広範な結果は、私たちの方法がGANの2人ゲームを平衡に近づけることを示しています。 、より良い合成パフォーマンスにつながります。副産物として、導入された空間認識により、出力合成のインタラクティブな編集が容易になります。デモビデオとコードはhttps://genforce.github.io/eqgan-sa/で入手できます。
The success of Generative Adversarial Networks (GANs) is largely built upon the adversarial training between a generator (G) and a discriminator (D). They are expected to reach a certain equilibrium where D cannot distinguish the generated images from the real ones. However, such an equilibrium is rarely achieved in practical GAN training, instead, D almost always surpasses G. We attribute one of its sources to the information asymmetry between D and G. We observe that D learns its own visual attention when determining whether an image is real or fake, but G has no explicit clue on which regions to focus on for a particular synthesis. To alleviate the issue of D dominating the competition in GANs, we aim to raise the spatial awareness of G. Randomly sampled multi-level heatmaps are encoded into the intermediate layers of G as an inductive bias. Thus G can purposefully improve the synthesis of certain image regions. We further propose to align the spatial awareness of G with the attention map induced from D. Through this way we effectively lessen the information gap between D and G. Extensive results show that our method pushes the two-player game in GANs closer to the equilibrium, leading to a better synthesis performance. As a byproduct, the introduced spatial awareness facilitates interactive editing over the output synthesis. Demo video and code are available at https://genforce.github.io/eqgan-sa/.
updated: Mon Apr 18 2022 10:58:51 GMT+0000 (UTC)
published: Wed Dec 01 2021 18:55:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト