対照学習 (CL) は、画像から画像への変換 (I2I) において大きな可能性を示しています。現在の CL ベースの I2I メソッドは通常、ジェネレーターのエンコーダーを再利用して、入力イメージと生成されたイメージの間の相互情報を最大化しますが、これはデコーダー部分に積極的な影響を及ぼしません。さらに、ネガティブ サンプルは CL で重要な役割を果たしますが、ほとんどの既存の方法はランダム サンプリング戦略を採用しており、効果が低い可能性があります。この論文では、対になっていない I2I タスクにおける CL パラダイムを 2 つの観点から再考し、EnCo と呼ばれる新しい片側画像変換フレームワークを提案します。まず、入力画像と生成画像の意味的な一貫性を保証するために、ジェネレーターのエンコーダーとデコーダーの間のマルチスケール ペアワイズ機能に明示的な制約を提示します。次に、ランダムなネガティブ サンプリングを置き換える識別的注意誘導ネガティブ サンプリング戦略を提案します。これにより、生成モデルのパフォーマンスが大幅に向上し、計算オーバーヘッドはほとんど無視できます。既存の方法と比較して、EnCo はより効果的かつ効率的に機能します。いくつかの一般的な I2I データセットでの広範な実験により、提案されたアプローチの有効性と利点が実証され、以前の方法と比較していくつかの最先端を達成しています。
Contrastive learning (CL) has shown great potential in image-to-image translation (I2I). Current CL-based I2I methods usually re-exploit the encoder of the generator to maximize the mutual information between the input and generated images, which does not exert an active effect on the decoder part. In addition, though negative samples play a crucial role in CL, most existing methods adopt a random sampling strategy, which may be less effective. In this paper, we rethink the CL paradigm in the unpaired I2I tasks from two perspectives and propose a new one-sided image translation framework called EnCo. First, we present an explicit constraint on the multi-scale pairwise features between the encoder and decoder of the generator to guarantee the semantic consistency of the input and generated images. Second, we propose a discriminative attention-guided negative sampling strategy to replace the random negative sampling, which significantly improves the performance of the generative model with an almost negligible computational overhead. Compared with existing methods, EnCo acts more effective and efficient. Extensive experiments on several popular I2I datasets demonstrate the effectiveness and advantages of our proposed approach, and we achieve several state-of-the-art compared to previous methods.