arXiv reaDer
Region-aware Adaptive Instance Normalization for Image Harmonization
画像の構成は、写真編集において一般的ですが重要な役割を果たします。写真のようにリアルな合成画像を取得するには、前景の外観と視覚スタイルを調整して、背景と互換性を持たせる必要があります。合成画像を調和させるための既存の深層学習方法は、背景画像と前景画像の間の視覚スタイルの一貫性を明示的に調査することなく、合成画像から実際の画像への画像マッピングネットワークを直接学習します。前景と背景の間の視覚的なスタイルの一貫性を確保するために、このペーパーでは、画像の調和をスタイル転送の問題として扱います。特に、背景からの視覚スタイルを明示的に定式化し、それらを前景に適応的に適用する、シンプルで効果的な領域認識適応インスタンス正規化 (RAIN) モジュールを提案します。私たちの設定により、RAIN モジュールを既存の画像調和ネットワークのドロップイン モジュールとして使用でき、大幅な改善をもたらすことができます。既存の画像調和ベンチマーク データセットに関する広範な実験は、提案された方法の優れた機能を示しています。コードは で入手できます。
Image composition plays a common but important role in photo editing. To acquire photo-realistic composite images, one must adjust the appearance and visual style of the foreground to be compatible with the background. Existing deep learning methods for harmonizing composite images directly learn an image mapping network from the composite to the real one, without explicit exploration on visual style consistency between the background and the foreground images. To ensure the visual style consistency between the foreground and the background, in this paper, we treat image harmonization as a style transfer problem. In particular, we propose a simple yet effective Region-aware Adaptive Instance Normalization (RAIN) module, which explicitly formulates the visual style from the background and adaptively applies them to the foreground. With our settings, our RAIN module can be used as a drop-in module for existing image harmonization networks and is able to bring significant improvements. Extensive experiments on the existing image harmonization benchmark datasets show the superior capability of the proposed method. Code is available at
updated: Sat Jun 05 2021 09:57:17 GMT+0000 (UTC)
published: Sat Jun 05 2021 09:57:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト