arXiv reaDer
セマンティック パレット: クラス プロポーションを使用したシーン生成のガイド
Semantic Palette: Guiding Scene Generation with Class Proportions
フォトリアリスティックな画像を合成する敵対的生成ネットワーク (GAN) の最近の進歩にもかかわらず、複雑な都市のシーンを作成することは依然として難しい問題です。これまでの作品では、シーンの生成を 2 つの連続するフェーズ、つまり無条件のセマンティック レイアウト合成とレイアウトを条件とした画像合成に分けていました。この作業では、より高度なセマンティック制御のためにレイアウト生成の条件付けも提案します。クラスの比率のベクトルが与えられると、一致する構成でレイアウトを生成します。この目的のために、新しいアーキテクチャ設計と学習目標を備えた条件付きフレームワークを導入します。これは、シーン生成プロセスをガイドするクラスの比率に効果的に対応します。提案されたアーキテクチャは、興味深いアプリケーションで部分的なレイアウト編集も可能にします。セマンティック コントロールのおかげで、実際の分布に近いレイアウトを生成でき、シーン生成プロセス全体を強化するのに役立ちます。さまざまな指標と都市シーンのベンチマークで、私たちのモデルは既存のベースラインを上回っています。さらに、データ拡張のためのアプローチのメリットを示しています。実際のレイアウト イメージのペアでトレーニングされたセマンティック セグメンターと、このアプローチによって生成された追加のセマンティック セグメンターは、実際のペアでのみトレーニングされたモデルよりも優れています。
Despite the recent progress of generative adversarial networks (GANs) at synthesizing photo-realistic images, producing complex urban scenes remains a challenging problem. Previous works break down scene generation into two consecutive phases: unconditional semantic layout synthesis and image synthesis conditioned on layouts. In this work, we propose to condition layout generation as well for higher semantic control: given a vector of class proportions, we generate layouts with matching composition. To this end, we introduce a conditional framework with novel architecture designs and learning objectives, which effectively accommodates class proportions to guide the scene generation process. The proposed architecture also allows partial layout editing with interesting applications. Thanks to the semantic control, we can produce layouts close to the real distribution, helping enhance the whole scene generation process. On different metrics and urban scene benchmarks, our models outperform existing baselines. Moreover, we demonstrate the merit of our approach for data augmentation: semantic segmenters trained on real layout-image pairs along with additional ones generated by our approach outperform models only trained on real pairs.
updated: Thu Jun 03 2021 07:04:00 GMT+0000 (UTC)
published: Thu Jun 03 2021 07:04:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト