一般的な画像編集操作として、画像合成は、ある画像から前景を切り取り、それを別の画像に貼り付けて、合成画像を作成することを目的としています。ただし、合成画像を非現実的にする可能性のある多くの問題があります。これらの問題は、前景と背景の間の不一致として要約できます。これには、外観の不一致(色と照明の互換性の欠如など)やジオメトリの不一致(サイズと場所の不合理など)が含まれます。以前は、1つまたは複数の問題で画像合成ターゲットに取り組んでいました。個々の問題は複雑な問題であるため、1つの問題のみに焦点を当てたいくつかの研究の方向性(たとえば、画像の調和、オブジェクトの配置)があります。努力を重ねることで、リアルな合成画像を得ることができます。合成画像がリアルであるだけでなく美的でもあると期待する場合があります。その場合、美的評価を考慮する必要があります。この調査では、上記の研究の方向性に関するデータセットと方法を要約します。また、画像合成の将来の研究を容易にするための制限と潜在的な方向性についても説明します。最後に、両刃の剣として、画像の構成も私たちの生活に悪影響を与える可能性があり(たとえば、偽のニュース)、したがって、合成画像と戦うためのアルゴリズムを開発することが不可欠です。画像合成のデータセットとコードは、https://github.com/bcmi/Awesome-Image-Compositionにまとめられています。
As a common image editing operation, image composition aims to cut the foreground from one image and paste it on another image, resulting in a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which include appearance inconsistency (e.g., incompatible color and illumination) and geometry inconsistency (e.g., unreasonable size and location). Previous works on image composition target at one or more issues. Since each individual issue is a complicated problem, there are some research directions (e.g., image harmonization, object placement) which focus on only one issue. By putting all the efforts together, we can acquire realistic composite images. Sometimes, we expect the composite images to be not only realistic but also aesthetic, in which case aesthetic evaluation needs to be considered. In this survey, we summarize the datasets and methods for the above research directions. We also discuss the limitations and potential directions to facilitate the future research for image composition. Finally, as a double-edged sword, image composition may also have negative effect on our lives (e.g., fake news) and thus it is imperative to develop algorithms to fight against composite images. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Image-Composition.