arXiv reaDer
DRAN: 条件付き画像合成のための詳細な領域適応正規化
DRAN: Detailed Region-Adaptive Normalization for Conditional Image Synthesis
近年、画像生成処理の制御性の高さから条件付き画像合成が注目を集めています。最近の作品ではリアルな結果が得られていますが、そのほとんどは微妙なディテールを含むきめの細かいスタイルを扱うのが困難です。この問題に対処するために、Detailed Regional-Adaptive Normalization~(DRAN) という名前の新しい正規化モジュールが提案されています。粒度の細かいスタイル表現と粗粒度のスタイル表現の両方を適応的に学習します。具体的には、モデルが粗い特徴から細かい特徴までを学習できるように、まずマルチレベル構造である空間認識ピラミッド プーリングを導入します。次に、異なるレベルのスタイルを適応的に融合するために、異なる空間領域に応じて異なるレベルのスタイルを適応的に融合できるようにするダイナミック ゲーティングを提案します。最後に、多様なポーズや表情を持つ幅広い複雑なメイクアップ スタイルを含む新しいメイクアップ データセット (Makeup-Complex データセット) を収集します。有効性を評価し、私たちの方法の一般的な使用法を示すために、メイクアップ転送と意味論的画像合成に関する一連の実験を行います。定量的および定性的な実験により、DRAN を装備した単純なベースライン モデルが、複雑なスタイルの転送と詳細なテクスチャ合成において有望な改善を達成できることが示されています。コードと提案されたデータセットは両方とも https://github.com/Yueming6568/DRAN-makeup.git で入手できます。
In recent years, conditional image synthesis has attracted growing attention due to its controllability in the image generation process. Although recent works have achieved realistic results, most of them have difficulty handling fine-grained styles with subtle details. To address this problem, a novel normalization module, named Detailed Region-Adaptive Normalization~(DRAN), is proposed. It adaptively learns both fine-grained and coarse-grained style representations. Specifically, we first introduce a multi-level structure, Spatiality-aware Pyramid Pooling, to guide the model to learn coarse-to-fine features. Then, to adaptively fuse different levels of styles, we propose Dynamic Gating, making it possible to adaptively fuse different levels of styles according to different spatial regions. Finally, we collect a new makeup dataset (Makeup-Complex dataset) that contains a wide range of complex makeup styles with diverse poses and expressions. To evaluate the effectiveness and show the general use of our method, we conduct a set of experiments on makeup transfer and semantic image synthesis. Quantitative and qualitative experiments show that equipped with DRAN, simple baseline models are able to achieve promising improvements in complex style transfer and detailed texture synthesis. Both the code and the proposed dataset will be available at https://github.com/Yueming6568/DRAN-makeup.git.
updated: Mon Jun 26 2023 11:16:21 GMT+0000 (UTC)
published: Wed Sep 29 2021 16:19:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト