セマンティックセグメンテーションやエッジマップなどのさまざまな条件付き入力を使用した画像変換でGANが大成功を収めているにもかかわらず、参照スタイルを使用して忠実度の高いリアルな画像を生成することは、条件付き画像から画像への変換における大きな課題です。このホワイトペーパーでは、条件付き入力と画像変換のスタイルエグザンプラとの間の特徴の位置合わせに最適なトランスポートを組み込んだ一般的な画像変換フレームワークを紹介します。最適なトランスポートの導入により、条件付き入力とエグザンプラ間の正確なセマンティック対応を構築しながら、多対1の機能マッチングの制約が大幅に緩和されます。条件付き入力とエグザンプラの間に広く存在する偏差分布を持つ特徴間のトランスポートに対処するために、新しい不均衡な最適トランスポートを設計します。さらに、エグザンプラのスタイル機能を画像変換プロセスに正常に挿入するセマンティックアクティベーション正規化スキームを設計します。複数の画像翻訳タスクにわたる広範な実験は、私たちの方法が最先端と比較して定性的および定量的に優れた画像翻訳を達成することを示しています。
Despite the great success of GANs in images translation with different conditioned inputs such as semantic segmentation and edge maps, generating high-fidelity realistic images with reference styles remains a grand challenge in conditional image-to-image translation. This paper presents a general image translation framework that incorporates optimal transport for feature alignment between conditional inputs and style exemplars in image translation. The introduction of optimal transport mitigates the constraint of many-to-one feature matching significantly while building up accurate semantic correspondences between conditional inputs and exemplars. We design a novel unbalanced optimal transport to address the transport between features with deviational distributions which exists widely between conditional inputs and exemplars. In addition, we design a semantic-activation normalization scheme that injects style features of exemplars into the image translation process successfully. Extensive experiments over multiple image translation tasks show that our method achieves superior image translation qualitatively and quantitatively as compared with the state-of-the-art.