画像から画像への変換は、視覚的に区別できる画像の異なるグループ間のマッピングを学習することを目的としています。最近の方法では、画像の複雑な外観を変更する優れた機能が示されていますが、モデルのトレーニングではドメインラベルに依存して、明確な視覚的特徴を区別しています。一貫性のある高品質のラベルは高価であるため、このようなラベルへの依存は、アプリケーションの範囲を大幅に制限することがよくあります。代わりに、画像自体から視覚的特徴をキャプチャし、それらを適用して、人間が生成したラベルなしで現実的な翻訳を可能にしたいと考えています。この目的のために、対照学習に基づく教師なし画像から画像への変換方法を提案します。重要なアイデアは、特徴的なスタイルを区別するディスクリミネーターを学習し、ディスクリミネーターにジェネレーターを監視させて、画像間でそれらのスタイルを転送することです。トレーニング中に、画像のペアをランダムにサンプリングし、ジェネレーターをトレーニングして、元の構造を維持しながら、一方の外観をもう一方の画像に変更します。実験結果は、私たちの方法が視覚的品質と翻訳精度の点で主要な教師なしベースラインを上回っていることを示しています。
Image-to-image translation aims to learn a mapping between different groups of visually distinguishable images. While recent methods have shown impressive ability to change even intricate appearance of images, they still rely on domain labels in training a model to distinguish between distinct visual features. Such dependency on labels often significantly limits the scope of applications since consistent and high-quality labels are expensive. Instead, we wish to capture visual features from images themselves and apply them to enable realistic translation without human-generated labels. To this end, we propose an unsupervised image-to-image translation method based on contrastive learning. The key idea is to learn a discriminator that differentiates between distinctive styles and let the discriminator supervise a generator to transfer those styles across images. During training, we randomly sample a pair of images and train the generator to change the appearance of one towards another while keeping the original structure. Experimental results show that our method outperforms the leading unsupervised baselines in terms of visual quality and translation accuracy.