セマンティックセグメンテーションは、コンピュータビジョンの最も基本的な問題の1つであり、さまざまなアプリケーションに大きな影響を与えます。敵対的学習は、高レベルのピクセル相関と構造情報を適用することにより、セマンティックセグメンテーションの品質を向上させるための効果的なアプローチであることが示されています。ただし、最先端のセマンティックセグメンテーションモデルは、敵対的ネットワークの収束と安定性の問題に対応するように設計されていないため、敵対的設定に簡単にプラグインすることはできません。最先端のセグメンテーションモデル(DeepLabv3 +)を中核として、条件付きの敵対的ネットワークを構築することで、このギャップを埋めます。安定性の問題と戦うために、ラベルマップ集約モジュールが埋め込まれた新しい先読み敵対的学習(LoAd)アプローチを導入します。ほぼリアルタイムのフィールドアプリケーションの推論で高速に実行されるセマンティックセグメンテーションモデルに焦点を当てています。広範な実験を通じて、提案されたソリューションが敵対的なセマンティックセグメンテーション設定での発散の問題を軽減し、3つの標準データセットのベースラインで大幅なパフォーマンスの向上(一部のクラスでは+ 5%)をもたらすことを示します。
Semantic segmentation is one of the most fundamental problems in computer vision with significant impact on a wide variety of applications. Adversarial learning is shown to be an effective approach for improving semantic segmentation quality by enforcing higher-level pixel correlations and structural information. However, state-of-the-art semantic segmentation models cannot be easily plugged into an adversarial setting because they are not designed to accommodate convergence and stability issues in adversarial networks. We bridge this gap by building a conditional adversarial network with a state-of-the-art segmentation model (DeepLabv3+) at its core. To battle the stability issues, we introduce a novel lookahead adversarial learning (LoAd) approach with an embedded label map aggregation module. We focus on semantic segmentation models that run fast at inference for near real-time field applications. Through extensive experimentation, we demonstrate that the proposed solution can alleviate divergence issues in an adversarial semantic segmentation setting and results in considerable performance improvements (+5% in some classes) on the baseline for three standard datasets.