マルチモーダルドメイン変換とは、通常、「コンテンツ」画像から特定のローカライズされた属性(レイアウト、セマンティクス、ジオメトリなど)を継承し、その他すべて(テクスチャ、照明、場合によってはセマンティクス)を「」から継承する新しい画像の合成を指します。スタイルのイメージ。このタスクへの主なアプローチは、解きほぐされた「コンテンツ」と「スタイル」の表現を最初から学習しようとすることです。ただし、翻訳中にユーザーが保持したいものは目標によって異なるため、これは難しいだけでなく、不適切な設定です。この固有のあいまいさを動機として、既成の事前トレーニング済みモデルによって抽出された条件付け情報に基づいて「コンテンツ」を定義します。次に、再構成の目的のセットを最適化するのが簡単なスタイル抽出器と画像デコーダーをトレーニングします。さまざまな高品質の事前トレーニング済みモデルが利用可能であり、簡単なトレーニング手順により、「コンテンツ」の多数のドメインと定義に適用するためのアプローチが簡単になります。さらに、「コンテンツ」のどの側面をドメイン間で保持するかを直感的に制御できます。 CelebA-HQなどの従来の適切に調整されたデータセットでメソッドを評価し、より複雑なシーンで評価するための2つの新しいデータセットであるClassicTVとFFHQ-Wildを提案します。私たちのアプローチであるSensoriumは、より複雑なシーンに対してより高品質のドメイン翻訳を可能にします。
Multi-modal domain translation typically refers to synthesizing a novel image that inherits certain localized attributes from a 'content' image (e.g. layout, semantics, or geometry), and inherits everything else (e.g. texture, lighting, sometimes even semantics) from a 'style' image. The dominant approach to this task is attempting to learn disentangled 'content' and 'style' representations from scratch. However, this is not only challenging, but ill-posed, as what users wish to preserve during translation varies depending on their goals. Motivated by this inherent ambiguity, we define 'content' based on conditioning information extracted by off-the-shelf pre-trained models. We then train our style extractor and image decoder with an easy to optimize set of reconstruction objectives. The wide variety of high-quality pre-trained models available and simple training procedure makes our approach straightforward to apply across numerous domains and definitions of 'content'. Additionally it offers intuitive control over which aspects of 'content' are preserved across domains. We evaluate our method on traditional, well-aligned, datasets such as CelebA-HQ, and propose two novel datasets for evaluation on more complex scenes: ClassicTV and FFHQ-Wild. Our approach, Sensorium, enables higher quality domain translation for more complex scenes.