arXiv reaDer
画像から画像への変換のためのスペクトル正規化二重対照正則化
Spectral Normalized Dual Contrastive Regularization for Image-to-Image Translation
既存のイメージ間 (I2I) 変換手法は、パッチごとの対比学習を敵対的生成ネットワークに組み込むことにより、最先端のパフォーマンスを実現します。ただし、パッチごとの対比学習では、ローカルなコンテンツの類似性にのみ焦点を当て、生成された画像の品質に影響を与えるグローバルな構造制約は無視されます。この論文では、二重対照正則化とスペクトル正規化に基づく新しい不対 I2I 変換フレームワーク、すなわち SN-DCR を提案します。全体的な構造とテクスチャの一貫性を維持するために、それぞれ異なる深い特徴空間を使用して二重対照正則化を設計します。生成された画像の全体的な構造情報を改善するために、生成された画像の全体的な意味構造を意味特徴空間内のターゲット領域からの実際の画像に類似させるために、意味対照損失を定式化します。グラム行列を使用して画像からテクスチャのスタイルを抽出します。同様に、スタイルのコントラスト損失を設計して、生成された画像の全体的なテクスチャ情報を改善します。さらに、モデルの安定性を高めるために、生成器の設計にスペクトル正規化畳み込みネットワークを採用しています。 SN-DCR の有効性を評価するために包括的な実験を実施し、その結果、私たちの手法が複数のタスクで SOTA を達成できることが証明されました。
Existing image-to-image (I2I) translation methods achieve state-of-the-art performance by incorporating the patch-wise contrastive learning into Generative Adversarial Networks. However, patch-wise contrastive learning only focuses on the local content similarity but neglects the global structure constraint, which affects the quality of the generated images. In this paper, we propose a new unpaired I2I translation framework based on dual contrastive regularization and spectral normalization, namely SN-DCR. To maintain consistency of the global structure and texture, we design the dual contrastive regularization using different deep feature spaces respectively. In order to improve the global structure information of the generated images, we formulate a semantically contrastive loss to make the global semantic structure of the generated images similar to the real images from the target domain in the semantic feature space. We use Gram Matrices to extract the style of texture from images. Similarly, we design style contrastive loss to improve the global texture information of the generated images. Moreover, to enhance the stability of model, we employ the spectral normalized convolutional network in the design of our generator. We conduct the comprehensive experiments to evaluate the effectiveness of SN-DCR, and the results prove that our method achieves SOTA in multiple tasks.
updated: Tue May 23 2023 08:05:54 GMT+0000 (UTC)
published: Sat Apr 22 2023 05:22:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト