ソース画像から所望の特性(例えば、新しいビュー/ポーズ)を備えた新しい画像を生成することは、その幅広い潜在的な用途のために、最近熱心に追求されてきた。高品質の生成を保証する1つの方法は、同じオブジェクトの異なるビューなどの補足情報を持つ複数のソースを使用することです。しかしながら、カメラ設定間の大きな不一致のためにソース画像がしばしばずれているので、カメラまたは/および対象の物体に関して過去に強い仮定がなされており、そのような技術の適用を制限している。そのため、ビュー角度、ポーズ、顔の表情など、ソース間の複数のタイプのバリエーションを統一されたフレームワークでモデル化する新しい一般的なアプローチを提案し、大きく異なる性質のデータセットで使用できるようにします。人体、顔、都市のシーン、3Dオブジェクトなど、さまざまなデータに対するアプローチを検証します。定性的および定量的結果の両方が、最先端技術よりも優れたメソッドのパフォーマンスを示しています。
Generating new images with desired properties (e.g. new view/poses) from source images has been enthusiastically pursued recently, due to its wide range of potential applications. One way to ensure high-quality generation is to use multiple sources with complementary information such as different views of the same object. However, as source images are often misaligned due to the large disparities among the camera settings, strong assumptions have been made in the past with respect to the camera(s) or/and the object in interest, limiting the application of such techniques. Therefore, we propose a new general approach which models multiple types of variations among sources, such as view angles, poses, facial expressions, in a unified framework, so that it can be employed on datasets of vastly different nature. We verify our approach on a variety of data including humans bodies, faces, city scenes and 3D objects. Both the qualitative and quantitative results demonstrate the better performance of our method than the state of the art.