画像から画像への変換は、ソースドメインから別の(ただし関連する)ターゲットドメインに画像を転送する際の問題です。オブジェクトの変容とドメイン転送タスクの基礎となるセマンティック情報を活用する、新しい教師なし画像から画像への変換手法を紹介します。具体的には、ソースドメインからターゲットドメインに画像とラベルを共同で変換する生成的敵対的学習アプローチを提示します。私たちの主な技術的貢献は、画像とその基礎となるセマンティクスを共同でエンコードし、両方を個別にターゲットドメインに変換するエンコーダ-デコーダベースのネットワークアーキテクチャです。さらに、セマンティックラベルを保持するオブジェクトの変容とクロスドメインのセマンティック整合性の喪失を提案します。広範な実験的評価を通じて、教師なし画像から画像への変換、ドメイン適応、およびオブジェクトの変形に関する最先端の方法と比較して、私たちのアプローチの有効性を示しています。
Image to image translation is the problem of transferring an image from a source domain to a different (but related) target domain. We present a new unsupervised image to image translation technique that leverages the underlying semantic information for object transfiguration and domain transfer tasks. Specifically, we present a generative adversarial learning approach that jointly translates images and labels from a source domain to a target domain. Our main technical contribution is an encoder-decoder based network architecture that jointly encodes the image and its underlying semantics and translates both individually to the target domain. Additionally, we propose object transfiguration and cross-domain semantic consistency losses that preserve semantic labels. Through extensive experimental evaluation, we demonstrate the effectiveness of our approach as compared to the state-of-the-art methods on unsupervised image-to-image translation, domain adaptation, and object transfiguration.