arXiv reaDer
SMIT: Stochastic Multi-Label Image-to-Image Translation
  クロスドメインマッピングは、近年非常に活発なトピックになっています。 1つの画像が与えられた場合、その主な目的は、目的のターゲットドメイン、または複数のラベルの場合は複数のドメインに翻訳することです。この問題は、(i)ペアリングされていないデータセット、(ii)複数の属性、(iii)翻訳に関連するマルチモダリティ(スタイルなど)の3つの主な理由により、非常に困難です。既存の最新技術のほとんどは、2つの理由、つまり(i)と(ii)、または(i)と(iii)にのみ焦点を当てています。この作業では、単一のジェネレーターを使用して、ソース画像の基本的な特性を保持する無数のユニークな偽の画像を条件付きで生成する、多様性とマルチマッピング画像から画像への変換の共同フレームワーク(i、ii、iii)を提案します。私たちのシステムはスタイルの正規化を使用せず、代わりに、ドメインとスタイルの両方に対してドメイン埋め込みと呼ばれる埋め込み表現を使用します。さまざまなデータセットに対する広範な実験により、マルチラベルおよびマルチモーダル問題の両方における最新技術と比較した、提案されたアプローチの有効性が実証されています。さらに、この方法は、連続スタイル補間、連続ラベル補間、きめ細かいマッピングなど、さまざまなシナリオで一般化できます。コードおよび事前トレーニング済みモデルは、で入手できます。
Cross-domain mapping has been a very active topic in recent years. Given one image, its main purpose is to translate it to the desired target domain, or multiple domains in the case of multiple labels. This problem is highly challenging due to three main reasons: (i) unpaired datasets, (ii) multiple attributes, and (iii) the multimodality (e.g., style) associated with the translation. Most of the existing state-of-the-art has focused only on two reasons, i.e. either on (i) and (ii), or (i) and (iii). In this work, we propose a joint framework (i, ii, iii) of diversity and multi-mapping image-to-image translations, using a single generator to conditionally produce countless and unique fake images that hold the underlying characteristics of the source image. Our system does not use style regularization, instead, it uses an embedding representation that we call domain embedding for both domain and style. Extensive experiments over different datasets demonstrate the effectiveness of our proposed approach in comparison with the state-of-the-art in both multi-label and multimodal problems. Additionally, our method is able to generalize under different scenarios: continuous style interpolation, continuous label interpolation, and fine-grained mapping. Code and pretrained models are available at
updated: Thu Sep 05 2019 10:18:24 GMT+0000 (UTC)
published: Mon Dec 10 2018 10:00:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト