対照的な学習は、対になっていない画像から画像への翻訳に大きな可能性を示しますが、翻訳された結果の品質が低く、内容が一貫して保存されない場合があります。この論文では、ネガティブな例が画像翻訳の対照学習のパフォーマンスに重要な役割を果たしていることを明らかにします。以前の方法のネガティブな例は、ソース画像のさまざまな位置のパッチからランダムにサンプリングされます。これは、ポジティブな例をクエリの例に近づけるのに効果的ではありません。この問題に対処するために、対になっていない画像から画像への変換〜(NEGCUT)での対照学習のためのインスタンスごとのハードネガティブサンプル生成を紹介します。具体的には、ネガティブな例をオンラインで生成するようにジェネレーターをトレーニングします。ジェネレータは2つの観点から斬新です。1)インスタンスごとに生成される例は入力画像に基づいていることを意味します。2)敵対的な損失でトレーニングされているため、ハードネガティブな例を生成できます。ジェネレータを使用すると、対になっていない画像から画像への変換のパフォーマンスが大幅に向上します。 3つのベンチマークデータセットでの実験は、提案されたNEGCUTフレームワークが以前の方法と比較して最先端のパフォーマンスを達成することを示しています。
Contrastive learning shows great potential in unpaired image-to-image translation, but sometimes the translated results are in poor quality and the contents are not preserved consistently. In this paper, we uncover that the negative examples play a critical role in the performance of contrastive learning for image translation. The negative examples in previous methods are randomly sampled from the patches of different positions in the source image, which are not effective to push the positive examples close to the query examples. To address this issue, we present instance-wise hard Negative Example Generation for Contrastive learning in Unpaired image-to-image Translation~(NEGCUT). Specifically, we train a generator to produce negative examples online. The generator is novel from two perspectives: 1) it is instance-wise which means that the generated examples are based on the input image, and 2) it can generate hard negative examples since it is trained with an adversarial loss. With the generator, the performance of unpaired image-to-image translation is significantly improved. Experiments on three benchmark datasets demonstrate that the proposed NEGCUT framework achieves state-of-the-art performance compared to previous methods.