arXiv reaDer
教師なし画像から画像への翻訳のための二重対照学習
Dual Contrastive Learning for Unsupervised Image-to-Image Translation
教師なし画像から画像への変換タスクは、ペアになっていないトレーニングデータからソースドメインXとターゲットドメインYの間のマッピングを見つけることを目的としています。 Unpaired image-to-image Translation(CUT)の対照学習は、両方のドメインに1つのエンコーダーのみを使用して、入力パッチと出力パッチ間の相互情報量を最大化することにより、教師なし画像から画像への変換をモデル化する最先端の結果をもたらします。この論文では、対になっていないデータ間の効率的なマッピングを推測するために、対照学習と二重学習設定(2つのエンコーダーを活用)に基づく新しい方法を提案します。さらに、CUTはモードの崩壊に悩まされていますが、私たちの方法の変形はこの問題に効率的に対処します。さらに、複数の困難な画像翻訳タスクにおける最近のアプローチと比較して優れたパフォーマンスを実証する広範なアブレーション研究を通じて、私たちのアプローチの利点を示しています。最後に、教師なしメソッドと教師ありメソッドの間のギャップを効率的に埋めることができることを示します。
Unsupervised image-to-image translation tasks aim to find a mapping between a source domain X and a target domain Y from unpaired training data. Contrastive learning for Unpaired image-to-image Translation (CUT) yields state-of-the-art results in modeling unsupervised image-to-image translation by maximizing mutual information between input and output patches using only one encoder for both domains. In this paper, we propose a novel method based on contrastive learning and a dual learning setting (exploiting two encoders) to infer an efficient mapping between unpaired data. Additionally, while CUT suffers from mode collapse, a variant of our method efficiently addresses this issue. We further demonstrate the advantage of our approach through extensive ablation studies demonstrating superior performance comparing to recent approaches in multiple challenging image translation tasks. Lastly, we demonstrate that the gap between unsupervised methods and supervised methods can be efficiently closed.
updated: Thu Apr 15 2021 18:00:22 GMT+0000 (UTC)
published: Thu Apr 15 2021 18:00:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト