arXiv reaDer
画像を再びリアルにする:ディープ画像合成に関する包括的な調査
Making Images Real Again: A Comprehensive Survey on Deep Image Composition
一般的な画像編集操作として、画像合成は、ある画像から前景を切り取り、それを別の画像に貼り付けて、合成画像を作成することを目的としています。ただし、合成画像を非現実的にする可能性のある多くの問題があります。これらの問題は、前景と背景の間の不一致として要約できます。これには、外観の不一致(たとえば、互換性のない照明)、ジオメトリの不一致(たとえば、不合理なサイズ)、およびセマンティックの不一致(たとえば、不一致のセマンティックコンテキスト)が含まれます。以前の作品は、画像合成タスクを複数のサブタスクに分割し、各サブタスクは1つ以上の問題を対象としています。具体的には、オブジェクトの配置は、前景の適切なスケール、位置、および形状を見つけることを目的としています。画像ブレンディングは、前景と背景の間の不自然な境界に対処することを目的としています。画像の調和は、前景の照明統計を調整することを目的としています。シャドウ生成は、前景にもっともらしいシャドウを生成することを目的としています。以上の取り組みをすべて組み合わせることで、リアルな合成画像を得ることができます。私たちの知る限り、画像構成に関するこれまでの調査はありません。この論文では、画像合成のサブタスクについて包括的な調査を行います。サブタスクごとに、従来の方法、深層学習ベースの方法、データセット、および評価を要約します。また、各サブタスクにおける既存の方法の限界と、画像合成タスク全体の問題についても指摘します。画像合成のデータセットとコードは、https://github.com/bcmi/Awesome-Image-Compositionにまとめられています。
As a common image editing operation, image composition aims to cut the foreground from one image and paste it on another image, resulting in a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency (e.g., incompatible illumination), geometry inconsistency (e.g., unreasonable size), and semantic inconsistency (e.g., mismatched semantic context). Previous works divide image composition task into multiple sub-tasks, in which each sub-task targets at one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow generation aims to generate plausible shadow for the foreground. By putting all the abovementioned efforts together, we can acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct comprehensive survey over the sub-tasks of image composition. For each sub-task, we summarize the traditional methods, deep learning based methods, datasets and evaluation. We also point out the limitations of existing methods in each sub-task and the problem of the whole image composition task. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Image-Composition.
updated: Mon Jul 11 2022 01:24:38 GMT+0000 (UTC)
published: Mon Jun 28 2021 09:09:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト