教師なし画像から画像への変換は、トレーニングにペアの画像を使用せずに、ソースドメインからターゲットドメインへのマッピングを学習することを目的としています。監視されていない画像の翻訳に不可欠でありながら制限的な前提は、2つのドメインが整列していることです。たとえば、selfie2animeタスクの場合、アニメ(selfie)ドメインには、他のドメインの一部の画像に翻訳できるアニメ(selfie)の顔画像のみが含まれている必要があります。 。整列されたドメインの収集は面倒であり、多くの注意が必要です。このホワイトペーパーでは、さまざまな理由で発生する可能性のある、2つの位置合わせされていないドメイン間の画像変換のタスクについて検討します。この問題を解決するために、重要度の再重み付けに基づいて画像を選択し、重みを学習して同時に自動的に翻訳を実行する方法を開発することを提案します。提案された方法を最先端の画像翻訳アプローチと比較し、非整列ドメインを使用したさまざまなタスクで定性的および定量的な結果を提示します。広範な経験的証拠は、提案された問題の定式化の有用性と私たちの方法の優位性を示しています。
Unsupervised image-to-image translation aims at learning the mapping from the source to target domain without using paired images for training. An essential yet restrictive assumption for unsupervised image translation is that the two domains are aligned, e.g., for the selfie2anime task, the anime (selfie) domain must contain only anime (selfie) face images that can be translated to some images in the other domain. Collecting aligned domains can be laborious and needs lots of attention. In this paper, we consider the task of image translation between two unaligned domains, which may arise for various possible reasons. To solve this problem, we propose to select images based on importance reweighting and develop a method to learn the weights and perform translation simultaneously and automatically. We compare the proposed method with state-of-the-art image translation approaches and present qualitative and quantitative results on different tasks with unaligned domains. Extensive empirical evidence demonstrates the usefulness of the proposed problem formulation and the superiority of our method.