arXiv reaDer
画像から画像への変換のためのスペクトル正規化二重対比正則化
Spectral normalized dual contrastive regularization for image-to-image translation
既存の画像から画像への (I2I) 変換方法は、パッチごとの対照学習を Generative Adversarial Networks に組み込むことで、最先端のパフォーマンスを実現します。ただし、パッチ単位の対照学習は、ローカル コンテンツの類似性のみに焦点を当て、生成された画像の品質に影響を与えるグローバル構造の制約を無視します。この論文では、二重対比正則化とスペクトル正規化、すなわちSN-DCRに基づく新しい対になっていないI2I翻訳フレームワークを提案します。グローバル構造とテクスチャの一貫性を維持するために、それぞれ異なる特徴空間を使用して二重対比正則化を設計します。生成された画像のグローバルな構造情報を改善するために、生成された画像のグローバルな意味構造を意味特徴空間のターゲットドメインからの実画像に類似させる意味的に対照的な損失を定式化します。グラム行列を使用して、画像からテクスチャのスタイルを抽出します。同様に、スタイル コントラスト損失を設計して、生成された画像の全体的なテクスチャ情報を改善します。さらに、モデルの安定性を高めるために、ジェネレーターの設計にスペクトル正規化畳み込みネットワークを採用しています。 SN-DCR の有効性を評価するために包括的な実験を実施し、その結果は、この方法が複数のタスクで SOTA を達成することを証明しています。
Existing image-to-image(I2I) translation methods achieve state-of-the-art performance by incorporating the patch-wise contrastive learning into Generative Adversarial Networks. However, patch-wise contrastive learning only focuses on the local content similarity but neglects the global structure constraint, which affects the quality of the generated images. In this paper, we propose a new unpaired I2I translation framework based on dual contrastive regularization and spectral normalization, namely SN-DCR. To maintain consistency of the global structure and texture, we design the dual contrastive regularization using different feature spaces respectively. In order to improve the global structure information of the generated images, we formulate a semantically contrastive loss to make the global semantic structure of the generated images similar to the real images from the target domain in the semantic feature space. We use Gram Matrices to extract the style of texture from images. Similarly, we design style contrastive loss to improve the global texture information of the generated images. Moreover, to enhance the stability of model, we employ the spectral normalized convolutional network in the design of our generator. We conduct the comprehensive experiments to evaluate the effectiveness of SN-DCR, and the results prove that our method achieves SOTA in multiple tasks.
updated: Sat Apr 22 2023 05:22:24 GMT+0000 (UTC)
published: Sat Apr 22 2023 05:22:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト