arXiv reaDer
Improving the Harmony of the Composite Image by Spatial-Separated Attention Module
 画像合成は、画像処理における最も重要なアプリケーションの1つです。ただし、スプライスされた領域と背景の間の不調和な外観は、画像の品質を低下させます。したがって、画像の調和の問題に対処します。接合された画像と接合された領域のマスクが与えられた場合、貼り付けられた領域の「スタイル」と背景(接合されていない領域)の調和を図ります。これまでのアプローチでは、ニューラルネットワークによる直接学習に焦点が当てられてきました。この作業では、経験的観察から始めます。スプライスされた画像と調和した結果の間のスプライスされた領域でのみ違いを見つけることができますが、同じ意味情報と非スプライス領域の外観を共有します。したがって、マスクされた領域と他の領域の特徴マップを個別に学習するために、Spatial-Separated Attention Module(S2AM)という名前の新しい注意モジュールを提案します。さらに、Unet構造のより粗い低レベルの機能に2つの異なる方法でS2AMを挿入することにより、新しい画像調和フレームワークを設計します。画像の調和に加えて、以前の観察で特定のマスクを使用せずに合成画像を調和させるための大きな一歩を踏み出しました。実験は、提案されたS2AMが他の最先端のアテンションモジュールよりも優れたパフォーマンスを発揮することを示しています。さらに、複数の観点からの基準を介して、他の最先端の画像調整方法に対するモデルの利点を示します。コードはで入手できます
Image composition is one of the most important applications in image processing. However, the inharmonious appearance between the spliced region and background degrade the quality of the image. Thus, we address the problem of Image Harmonization: Given a spliced image and the mask of the spliced region, we try to harmonize the "style" of the pasted region with the background (non-spliced region). Previous approaches have been focusing on learning directly by the neural network. In this work, we start from an empirical observation: the differences can only be found in the spliced region between the spliced image and the harmonized result while they share the same semantic information and the appearance in the non-spliced region. Thus, in order to learn the feature map in the masked region and the others individually, we propose a novel attention module named Spatial-Separated Attention Module (S2AM). Furthermore, we design a novel image harmonization framework by inserting the S2AM in the coarser low-level features of the Unet structure in two different ways. Besides image harmonization, we make a big step for harmonizing the composite image without the specific mask under previous observation. The experiments show that the proposed S2AM performs better than other state-of-the-art attention modules in our task. Moreover, we demonstrate the advantages of our model against other state-of-the-art image harmonization methods via criteria from multiple points of view. Code is available at
updated: Sat Feb 22 2020 09:09:38 GMT+0000 (UTC)
published: Mon Jul 15 2019 10:06:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト