arXiv reaDer
IterGANs: Iterative GANs to Learn and Control 3D Object Transformation
  単一の2D画像に基づいて視覚オブジェクトの3D操作を可能にする視覚表現の学習に興味があります。これを画像から画像への変換タスクにキャストし、入力画像を出力画像に繰り返し変換する反復生成的敵対ネットワーク(IterGAN)を提案します。私たちのモデルは、トレーニングで見られるオブジェクトだけでなく、見たことがないオブジェクトにも使用できる視覚的表現を学習します。オブジェクトの操作には、オブジェクトのジオメトリと外観を完全に理解する必要があるため、IterGANは、オブジェクトの暗黙的な3Dモデルと完全な外観モデルを学習します。どちらも単一の(テスト)イメージから推測されます。 IterGANの2つの利点は、中間生成画像を監視なしでも追加の監視信号に使用できることと、反復回数を制御信号として使用して変換を制御できることです。回転したオブジェクトとシーンの実験では、IterGANが生成プロセスにどのように役立つかを示しています。
We are interested in learning visual representations which allow for 3D manipulations of visual objects based on a single 2D image. We cast this into an image-to-image transformation task, and propose Iterative Generative Adversarial Networks (IterGANs) which iteratively transform an input image into an output image. Our models learn a visual representation that can be used for objects seen in training, but also for never seen objects. Since object manipulation requires a full understanding of the geometry and appearance of the object, our IterGANs learn an implicit 3D model and a full appearance model of the object, which are both inferred from a single (test) image. Two advantages of IterGANs are that the intermediate generated images can be used for an additional supervision signal, even in an unsupervised fashion, and that the number of iterations can be used as a control signal to steer the transformation. Experiments on rotated objects and scenes show how IterGANs help with the generation process.
updated: Wed Sep 04 2019 07:03:52 GMT+0000 (UTC)
published: Mon Apr 16 2018 13:08:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト