強力なシミュレーターにより、自動運転車のトレーニングや評価を行う際の実際のテストの必要性が大幅に減少します。データ駆動型シミュレーターは、条件付き生成的敵対的ネットワーク(cGAN)の最近の進歩により繁栄し、忠実度の高い画像を提供しました。主な課題は、与えられた制約に従いながら、フォトリアリスティックな画像を合成することです。この作業では、弁別器のアーキテクチャを再考することにより、生成された画像の品質を向上させることを提案します。焦点は、シーンセグメンテーションマップや人体のポーズなどのセマンティック入力を指定して画像が生成される問題のクラスにあります。成功したcGANモデルに基づいて、ジェネレーターをより適切にガイドする新しいセマンティック対応のディスクリミネーターを提案します。私たちは、セマンティックセグメンテーション、コンテンツの再構築、および粗いものから細かいものへの敵対的な推論を共同で行うのに十分な情報をエンコードする共有潜在表現を学習することを目指しています。達成された改善は、条件付き画像合成の任意のアーキテクチャに適用できるほど一般的で単純です。 3つの異なるデータセットにわたるシーン、構築、および人間の合成タスクでのメソッドの強みを示します。コードはhttps://github.com/vita-epfl/SemDiscで入手できます。
A powerful simulator highly decreases the need for real-world tests when training and evaluating autonomous vehicles. Data-driven simulators flourished with the recent advancement of conditional Generative Adversarial Networks (cGANs), providing high-fidelity images. The main challenge is synthesizing photorealistic images while following given constraints. In this work, we propose to improve the quality of generated images by rethinking the discriminator architecture. The focus is on the class of problems where images are generated given semantic inputs, such as scene segmentation maps or human body poses. We build on successful cGAN models to propose a new semantically-aware discriminator that better guides the generator. We aim to learn a shared latent representation that encodes enough information to jointly do semantic segmentation, content reconstruction, along with a coarse-to-fine grained adversarial reasoning. The achieved improvements are generic and simple enough to be applied to any architecture of conditional image synthesis. We demonstrate the strength of our method on the scene, building, and human synthesis tasks across three different datasets. The code is available at https://github.com/vita-epfl/SemDisc.