arXiv reaDer
自分のGANをスケッチする
Sketch Your Own GAN
ユーザーは、1つの例をスケッチすることで、深い生成モデルを作成できますか?従来、GANモデルを作成するには、大規模なエグザンプラのデータセットとディープラーニングの専門知識を収集する必要がありました。対照的に、スケッチはおそらく視覚的な概念を伝えるための最も普遍的にアクセス可能な方法です。この作業では、GANを初心者ユーザーが簡単にトレーニングできるように、1つまたは複数のスケッチでGANを書き換える方法であるGANSketchingを紹介します。特に、ユーザーのスケッチに応じて、元のGANモデルの重みを変更します。モデルの出力は、クロスドメインの敵対的損失を通じてユーザーのスケッチと一致することをお勧めします。さらに、元のモデルの多様性と画質を維持するために、さまざまな正則化方法を検討します。実験により、私たちの方法では、リアリズムと多様性を維持しながら、スケッチで指定された形状とポーズに一致するようにGANを成形できることが示されています。最後に、潜在空間補間や画像編集など、結果として得られるGANのいくつかのアプリケーションを示します。
Can a user create a deep generative model by sketching a single example? Traditionally, creating a GAN model has required the collection of a large-scale dataset of exemplars and specialized knowledge in deep learning. In contrast, sketching is possibly the most universally accessible way to convey a visual concept. In this work, we present a method, GAN Sketching, for rewriting GANs with one or more sketches, to make GANs training easier for novice users. In particular, we change the weights of an original GAN model according to user sketches. We encourage the model's output to match the user sketches through a cross-domain adversarial loss. Furthermore, we explore different regularization methods to preserve the original model's diversity and image quality. Experiments have shown that our method can mold GANs to match shapes and poses specified by sketches while maintaining realism and diversity. Finally, we demonstrate a few applications of the resulting GAN, including latent space interpolation and image editing.
updated: Mon Sep 20 2021 15:07:52 GMT+0000 (UTC)
published: Thu Aug 05 2021 17:59:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト