arXiv reaDer
署名された属性ベクトルを介した連続的で多様な画像から画像への変換
Continuous and Diverse Image-to-Image Translation via Signed Attribute Vectors
最近の画像から画像(I2I)への変換アルゴリズムは、ソースからターゲットドメインへのマッピングの学習に重点を置いています。ただし、2つのドメイン間の中間結果を合成する連続翻訳の問題は、文献では十分に研究されていません。中間結果のスムーズなシーケンスを生成すると、2つの異なるドメインのギャップが埋められ、ドメイン間のモーフィング効果が促進されます。既存のI2Iアプローチは、ドメイン内または決定論的なドメイン間連続翻訳のいずれかに制限されています。この作業では、効果的に署名された属性ベクトルを提示します。これにより、さまざまなドメインにわたる多様なマッピングパスでの継続的な翻訳が可能になります。特に、署名操作を利用してドメイン情報をエンコードするすべてのドメインで共有される統一された属性空間を導入し、それによって異なるドメインの属性ベクトルの補間を可能にします。連続翻訳結果の視覚的品質を向上させるために、2つの符号対称属性ベクトル間の軌道を生成し、敵対的なトレーニングのために軌道に沿って補間された結果のドメイン情報を活用します。提案された方法を幅広いI2I変換タスクで評価します。定性的および定量的結果の両方は、提案されたフレームワークが最先端の方法に対してより高品質の連続翻訳結果を生成することを示しています。
Recent image-to-image (I2I) translation algorithms focus on learning the mapping from a source to a target domain. However, the continuous translation problem that synthesizes intermediate results between two domains has not been well-studied in the literature. Generating a smooth sequence of intermediate results bridges the gap of two different domains, facilitating the morphing effect across domains. Existing I2I approaches are limited to either intra-domain or deterministic inter-domain continuous translation. In this work, we present an effectively signed attribute vector, which enables continuous translation on diverse mapping paths across various domains. In particular, we introduce a unified attribute space shared by all domains that utilize the sign operation to encode the domain information, thereby allowing the interpolation on attribute vectors of different domains. To enhance the visual quality of continuous translation results, we generate a trajectory between two sign-symmetrical attribute vectors and leverage the domain information of the interpolated results along the trajectory for adversarial training. We evaluate the proposed method on a wide range of I2I translation tasks. Both qualitative and quantitative results demonstrate that the proposed framework generates more high-quality continuous translation results against the state-of-the-art methods.
updated: Sun Apr 18 2021 05:48:17 GMT+0000 (UTC)
published: Mon Nov 02 2020 18:59:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト