arXiv reaDer
SSH:画像調和のための自己監視フレームワーク
SSH: A Self-Supervised Framework for Image Harmonization
画像の調和は、前景画像と背景画像の「外観」(色調、明るさ、コントラストなど)を一致させることにより、画像合成の品質を向上させることを目的としています。ただし、このタスクのために大規模な注釈付きデータセットを収集するには、複雑な専門家によるレタッチが必要です。代わりに、編集せずに「無料」の自然画像を使用してトレーニングできる新しい自己教師あり調和フレームワーク(SSH)を提案します。前景と背景の例を別々に処理する表現融合の観点から画像調和問題を再定式化し、背景のオクルージョンの問題に対処します。このフレームワーク設計により、3Dカラールックアップテーブル(LUT)を使用して摂動のある画像をトリミングすることにより、多様な[フォアグラウンド、バックグラウンド、疑似GT]トリプレットを生成できるデュアルデータ拡張方法が可能になります。さらに、評価とベンチマークの目的で、エキスパートユーザーが慎重に作成した実際の調和データセットを構築します。私たちの結果は、提案された自己監視法が、参照メトリック、視覚的品質、および対象ユーザーの研究の点で、以前の最先端の方法よりも優れていることを示しています。コードとデータセットはhttps://github.com/VITA-Group/SSHarmonizationで入手できます。
Image harmonization aims to improve the quality of image compositing by matching the "appearance" (e.g. , color tone, brightness and contrast) between foreground and background images. However, collecting large-scale annotated datasets for this task requires complex professional retouching. Instead, we propose a novel Self-Supervised Harmonization framework (SSH) that can be trained using just "free" natural images without being edited. We reformulate the image harmonization problem from a representation fusion perspective, which separately processes the foreground and background examples, to address the background occlusion issue. This framework design allows for a dual data augmentation method, where diverse [foreground, background, pseudo GT] triplets can be generated by cropping an image with perturbations using 3D color lookup tables (LUTs). In addition, we build a real-world harmonization dataset as carefully created by expert users, for evaluation and benchmarking purposes. Our results show that the proposed self-supervised method outperforms previous state-of-the-art methods in terms of reference metrics, visual quality, and subject user study. Code and dataset are available at https://github.com/VITA-Group/SSHarmonization.
updated: Sun Aug 15 2021 19:51:33 GMT+0000 (UTC)
published: Sun Aug 15 2021 19:51:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト