arXiv reaDer
反復自己推論による不調和領域の局在化
Inharmonious Region Localization via Recurrent Self-Reasoning
画像編集操作によって作成された合成画像が一般的ですが、操作された領域と背景の間の色または照明の不一致により、非現実的なものになる場合があります。このように、合成画像の品質を向上させるために、不調和領域をローカライズすることは重要でありながら困難です。従来のクラスタリング アルゴリズムに着想を得て、新しい Recurrent Self-Reasoning (RSR) モジュールを UNet 構造のボトルネックに挿入することにより、ピクセルを 2 つのクラスター (不調和クラスターと背景クラスター) にグループ化することを目指しています。 RSR モジュールからのマスク出力は、アテンション ガイダンスとしてデコーダに提供されます。最後に、RSR とデコーダからのマスクを適応的に組み合わせて、最終的なマスクを形成します。画像調和データセットに関する実験結果は、私たちの方法が定量的および定性的に競争力のあるパフォーマンスを達成することを示しています。
Synthetic images created by image editing operations are prevalent, but the color or illumination inconsistency between the manipulated region and background may make it unrealistic. Thus, it is important yet challenging to localize the inharmonious region to improve the quality of synthetic image. Inspired by the classic clustering algorithm, we aim to group pixels into two clusters: inharmonious cluster and background cluster by inserting a novel Recurrent Self-Reasoning (RSR) module into the bottleneck of UNet structure. The mask output from RSR module is provided for the decoder as attention guidance. Finally, we adaptively combine the masks from RSR and the decoder to form our final mask. Experimental results on the image harmonization dataset demonstrate that our method achieves competitive performance both quantitatively and qualitatively.
updated: Wed Oct 05 2022 05:50:24 GMT+0000 (UTC)
published: Wed Oct 05 2022 05:50:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト