arXiv reaDer
Adversarial Learning of Disentangled and Generalizable Representations for Visual Attributes
最近、画像から画像への変換のための多数の方法が、マルチドメインまたはマルチ属性転送などの問題で印象的な結果を示しています。このような作業の大部分は、敵対的学習と深い畳み込みオートエンコーダの長所を活用して、ターゲットデータの分布を適切にキャプチャすることで現実的な結果を実現します。それにもかかわらず、このクラスのメソッドの最も著名な代表は、潜在空間のセマンティック構造を促進せず、通常、テスト時間の転送にバイナリドメインラベルに依存します。これにより、厳密なモデルが作成され、各ドメインラベルの分散をキャプチャできなくなります。この観点から、(i)変化の原因を意味的に解きほぐすことによって潜在構造の出現を促進し、(ii)柔軟な属性混合を可能にする一般化可能で、継続的で、転送可能な潜在コードの学習を促進する、新しい敵対的学習方法を提案します。これは、表現が解きほぐされた属性のクラス事後確率を均一に分散するように促す新しい損失関数を導入することによって実現されます。一般化可能なプロパティを誘導するためのアルゴリズムと連携して、結果の表現は、ラベル付けされたテストデータを必要とせずに、強度を維持する多属性画像の変換や合成などのさまざまなタスクに利用できます。 MultiPIE、RaFD、BU-3DFEなどの一般的なデータベースでの一連の定性的および定量的実験によって提案された方法のメリットを示します。この方法は、強度などのタスクで他の最先端の方法よりも優れています。多属性の転送と合成を維持します。
Recently, a multitude of methods for image-to-image translation have demonstrated impressive results on problems such as multi-domain or multi-attribute transfer. The vast majority of such works leverages the strengths of adversarial learning and deep convolutional autoencoders to achieve realistic results by well-capturing the target data distribution. Nevertheless, the most prominent representatives of this class of methods do not facilitate semantic structure in the latent space, and usually rely on binary domain labels for test-time transfer. This leads to rigid models, unable to capture the variance of each domain label. In this light, we propose a novel adversarial learning method that (i) facilitates the emergence of latent structure by semantically disentangling sources of variation, and (ii) encourages learning generalizable, continuous, and transferable latent codes that enable flexible attribute mixing. This is achieved by introducing a novel loss function that encourages representations to result in uniformly distributed class posteriors for disentangled attributes. In tandem with an algorithm for inducing generalizable properties, the resulting representations can be utilized for a variety of tasks such as intensity-preserving multi-attribute image translation and synthesis, without requiring labelled test data. We demonstrate the merits of the proposed method by a set of qualitative and quantitative experiments on popular databases such as MultiPIE, RaFD, and BU-3DFE, where our method outperforms other, state-of-the-art methods in tasks such as intensity-preserving multi-attribute transfer and synthesis.
updated: Sat Jan 30 2021 14:16:30 GMT+0000 (UTC)
published: Tue Apr 09 2019 16:35:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト