arXiv reaDer
Generating Novel Scene Compositions from Single Images and Videos
トレーニング用の大規模なデータセットが与えられた場合、GANは画像合成タスクで驚くべきパフォーマンスを達成できます。ただし、過剰適合が頻繁に発生し、暗記またはトレーニングの相違につながるため、非常に低いデータレジームでGANをトレーニングすることは依然として課題です。この作品では、単一のトレーニング画像または単一のビデオクリップから新しいシーン構成を生成できる無条件の生成モデルであるSIV-GANを紹介します。内部コンテンツとシーンレイアウトのリアリズムを別々に判断するように設計されたコンテンツブランチとレイアウトブランチを備えた2ブランチディスクリミネーターアーキテクチャを提案します。このディスクリミネーターの設計により、元のサンプルのコンテキストを維持しながら、さまざまなコンテンツとレイアウトを使用して、視覚的にもっともらしい、斬新なシーンの構成を合成できます。以前の単一画像GANと比較して、私たちのモデルは、単一画像設定に制限されることなく、より多様で高品質の画像を生成します。 SIV-GANが、単一のビデオから学習するという新しい挑戦的なタスクにうまく対処していることを示します。これまでのGANモデルでは、高品質と多様性の両方の統合を実現できませんでした。
Given a large dataset for training, GANs can achieve remarkable performance for the image synthesis task. However, training GANs in extremely low data regimes remains a challenge, as overfitting often occurs, leading to memorization or training divergence. In this work, we introduce SIV-GAN, an unconditional generative model that can generate new scene compositions from a single training image or a single video clip. We propose a two-branch discriminator architecture, with content and layout branches designed to judge internal content and scene layout realism separately from each other. This discriminator design enables synthesis of visually plausible, novel compositions of a scene, with varying content and layout, while preserving the context of the original sample. Compared to previous single-image GANs, our model generates more diverse, higher quality images, while not being restricted to a single image setting. We show that SIV-GAN successfully deals with a new challenging task of learning from a single video, for which prior GAN models fail to achieve synthesis of both high quality and diversity.
updated: Tue Oct 19 2021 10:55:52 GMT+0000 (UTC)
published: Wed Mar 24 2021 17:59:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト