arXiv reaDer
MixSyn:マルチソース画像合成のための構成とスタイルの学習
MixSyn: Learning Composition and Style for Multi-Source Image Synthesis
生成モデルによって作成された合成画像は、新しいモデルがより大きなデータセットと新しいアーキテクチャを利用するにつれて、品質と表現力が向上します。このフォトリアリズムは創造的な観点からはプラスの副作用ですが、そのような生成モデルが同意なしになりすましに使用されると問題になります。これらのアプローチのほとんどは、ソースとターゲットのペア間の部分的な転送に基づいて構築されているか、理想的な分布に基づいて完全に新しいサンプルを生成しますが、それでもデータセット内の最も近い実際のサンプルに似ています。複数のソースから新しいファジー構成を学習し、構成に対応する画像領域の混合として新しい画像を作成するために、MixSyn(「mixin」と読みます)を提案します。 MixSynは、複数のソースマスクからの無相関領域をコヒーレントなセマンティック構成に結合するだけでなく、存在しない画像のマスクを意識した高品質の再構成を生成します。 MixSynを、品質、多様性、リアリズム、表現力の観点から、最先端のシングルソースシーケンシャル生成およびコラージュ生成アプローチと比較します。また、マスクに依存せずに、インタラクティブな合成、ミックス&マッチ、および伝播タスクの編集を紹介します。
Synthetic images created by generative models increase in quality and expressiveness as newer models utilize larger datasets and novel architectures. Although this photorealism is a positive side-effect from a creative standpoint, it becomes problematic when such generative models are used for impersonation without consent. Most of these approaches are built on the partial transfer between source and target pairs, or they generate completely new samples based on an ideal distribution, still resembling the closest real sample in the dataset. We propose MixSyn (read as " mixin' ") for learning novel fuzzy compositions from multiple sources and creating novel images as a mix of image regions corresponding to the compositions. MixSyn not only combines uncorrelated regions from multiple source masks into a coherent semantic composition, but also generates mask-aware high quality reconstructions of non-existing images. We compare MixSyn to state-of-the-art single-source sequential generation and collage generation approaches in terms of quality, diversity, realism, and expressive power; while also showcasing interactive synthesis, mix & match, and edit propagation tasks, with no mask dependency.
updated: Wed Nov 24 2021 18:58:34 GMT+0000 (UTC)
published: Wed Nov 24 2021 18:58:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト