arXiv reaDer
教師なし画像から画像への変換のためのマルチクロップ対照学習
Multi-crop Contrastive Learning for Unsupervised Image-to-Image Translation
最近では、対照学習に基づく画像から画像への変換手法が、多くのタスクで最先端の結果を達成しています。ただし、ネガは前作の入力特徴空間からサンプリングされているため、ネガには多様性がありません。さらに,埋め込みの潜在空間において,以前の方法は,生成された画像とターゲットドメインの実画像との間のドメインの一貫性を無視した。この論文では、MCCUTと呼ばれる、対応のない画像から画像への変換のための新しい対照学習フレームワークを提案します。マルチクロップビューを利用して、センタークロップとランダムクロップを介してネガを生成します。これにより、ネガの多様性が向上し、ネガの品質が向上します。深い特徴空間への埋め込みを制限するために、生成された画像が同じドメインの埋め込み空間で実際の画像に近くなるようにする新しいドメイン一貫性損失関数を定式化します。さらに、DCSEモジュールと呼ばれるSENetに位置情報を埋め込むことにより、デュアル座標チャネルアテンションネットワークを提示します。ジェネレーターの設計に DCSE モジュールを採用しているため、ジェネレーターは重みの大きいチャネルにより多くの注意を払います。多くの画像から画像への変換タスクで、私たちの方法は最先端の結果を達成し、私たちの方法の利点は広範な比較実験とアブレーション研究によって証明されています。
Recently, image-to-image translation methods based on contrastive learning achieved state-of-the-art results in many tasks. However, the negatives are sampled from the input feature spaces in the previous work, which makes the negatives lack diversity. Moreover, in the latent space of the embedings,the previous methods ignore domain consistency between the generated image and the real images of target domain. In this paper, we propose a novel contrastive learning framework for unpaired image-to-image translation, called MCCUT. We utilize the multi-crop views to generate the negatives via the center-crop and the random-crop, which can improve the diversity of negatives and meanwhile increase the quality of negatives. To constrain the embedings in the deep feature space,, we formulate a new domain consistency loss function, which encourages the generated images to be close to the real images in the embedding space of same domain. Furthermore, we present a dual coordinate channel attention network by embedding positional information into SENet, which called DCSE module. We employ the DCSE module in the design of generator, which makes the generator pays more attention to channels with greater weight. In many image-to-image translation tasks, our method achieves state-of-the-art results, and the advantages of our method have been proved through extensive comparison experiments and ablation research.
updated: Mon Apr 24 2023 16:20:28 GMT+0000 (UTC)
published: Mon Apr 24 2023 16:20:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト