最近、対照的な学習ベースの画像変換方法が提案されており、これは、空間的対応を強化するために異なる空間的位置を対比する。ただし、これらのメソッドは、画像内の多様な意味関係を無視することがよくあります。これに対処するために、ここでは、単一画像の画像パッチ間の異種セマンティクスに焦点を当てることによって多様なセマンティクスを利用する、分離された対照学習とともに、新しい意味関係一貫性(SRC)正則化を提案します。パフォーマンスをさらに向上させるために、セマンティック関係を利用してハードネガティブマイニングを提示します。シングルモーダルおよびマルチモーダル画像変換、および画像変換のGAN圧縮タスクの3つのタスクの方法を検証しました。実験結果により、3つのタスクすべてにおける当社のメソッドの最先端のパフォーマンスが確認されました。
Recently, contrastive learning-based image translation methods have been proposed, which contrasts different spatial locations to enhance the spatial correspondence. However, the methods often ignore the diverse semantic relation within the images. To address this, here we propose a novel semantic relation consistency (SRC) regularization along with the decoupled contrastive learning, which utilize the diverse semantics by focusing on the heterogeneous semantics between the image patches of a single image. To further improve the performance, we present a hard negative mining by exploiting the semantic relation. We verified our method for three tasks: single-modal and multi-modal image translations, and GAN compression task for image translation. Experimental results confirmed the state-of-art performance of our method in all the three tasks.