arXiv reaDer
映像をもう一度リアルにする:ディープな映像構成に関する徹底調査
Making Images Real Again: A Comprehensive Survey on Deep Image Composition
一般的な画像編集操作として、画像合成では、1 つの画像の前景と別の背景画像を組み合わせて、合成画像を作成することを目的としています。ただし、合成画像を非現実的にする可能性のある問題が数多くあります。これらの問題は、前景と背景の間の不一致として要約できます。これには、外観の不一致 (例: 互換性のない照明)、ジオメトリの不一致 (例: 不当なサイズ)、および意味論的な不一致 (例: 意味論的コンテキストの不一致) が含まれます。画像合成タスクは複数のサブタスクに分解でき、各サブタスクは 1 つ以上の問題を対象とします。具体的には、オブジェクトの配置は、前景の適切なスケール、位置、形状を見つけることを目的としています。画像ブレンディングは、前景と背景の間の不自然な境界に対処することを目的としています。画像の調和は、前景の照明統計を調整することを目的としています。影の生成は、前景に妥当な影を生成することを目的としています。これらのサブタスクは、連続的または並列的に実行して、リアルな合成画像を取得できます。私たちの知る限り、画像の構成に関するこれまでの調査はありません。この論文では、画像合成のサブタスクと組み合わせタスクに関する包括的な調査を実施します。それぞれについて、既存の手法、利用可能なデータセット、一般的な評価指標を要約します。画像合成用のデータセットとコードは、https://github.com/bcmi/Awesome-Image-Composition にまとめられています。
As a common image editing operation, image composition aims to combine the foreground from one image and another background image, resulting in a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency (e.g., incompatible illumination), geometry inconsistency (e.g., unreasonable size), and semantic inconsistency (e.g., mismatched semantic context). Image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets at one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow generation aims to generate plausible shadow for the foreground. These sub-tasks can be executed sequentially or parallelly to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct comprehensive survey over the sub-tasks and combinatorial task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Image-Composition.
updated: Mon Aug 07 2023 04:47:05 GMT+0000 (UTC)
published: Mon Jun 28 2021 09:09:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト