arXiv reaDer
毛皮のような車の生成:複数のドメインにわたるオブジェクトの形状と外観の解きほぐし
Generating Furry Cars: Disentangling Object Shape & Appearance across Multiple Domains
複数のドメイン(犬や車など)にわたるオブジェクトの形状と外観の解きほぐされた表現を学習するという新しいタスクを検討します。目標は、各ドメインからプロパティのサブセットを借用し、どのドメインにも排他的に存在しなかった画像の生成を可能にする中間分布を学習する生成モデルを学習することです。この困難な問題では、2つのドメインの外観と形状の要素を交換できるように、各ドメインのオブジェクトの形状、外観、背景を正確に解きほぐす必要があります。単一のドメイン内の要因を解きほぐすことができるが、ドメイン間でそうするのに苦労する既存のアプローチを強化します。私たちの重要な技術的貢献は、視覚的特徴の微分可能なヒストグラムでオブジェクトの外観を表現し、ジェネレータを最適化して、潜在的な外観係数が同じで潜在的な形状係数が異なる2つの画像が同様のヒストグラムを生成するようにすることです。複数のマルチドメインデータセットで、私たちの方法がドメイン間で正確で一貫した外観と形状の転送につながることを示します。
We consider the novel task of learning disentangled representations of object shape and appearance across multiple domains (e.g., dogs and cars). The goal is to learn a generative model that learns an intermediate distribution, which borrows a subset of properties from each domain, enabling the generation of images that did not exist in any domain exclusively. This challenging problem requires an accurate disentanglement of object shape, appearance, and background from each domain, so that the appearance and shape factors from the two domains can be interchanged. We augment an existing approach that can disentangle factors within a single domain but struggles to do so across domains. Our key technical contribution is to represent object appearance with a differentiable histogram of visual features, and to optimize the generator so that two images with the same latent appearance factor but different latent shape factors produce similar histograms. On multiple multi-domain datasets, we demonstrate our method leads to accurate and consistent appearance and shape transfer across domains.
updated: Mon Apr 05 2021 17:59:15 GMT+0000 (UTC)
published: Mon Apr 05 2021 17:59:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト