この作業は、Generative Adversarial Network(GAN)のトレーニングで両方のパフォーマンスを共同で検討することにより、セマンティックセグメンテーションと画像の超解像の問題に対処します。新しいアーキテクチャとドメイン固有の機能損失を提案し、超解像を前処理ステップとして動作させて、ダウンストリームのコンピュータビジョンタスク、特にセマンティックセグメンテーションのパフォーマンスを向上させます。ピクセルあたり5〜7 cmの解像度で数百の都市部をカバーする、Nearmapの航空画像データセットを使用してこのアプローチを示します。提案されたアプローチにより、知覚される画質とすべての予測クラスにわたる定量的セグメンテーション精度が向上し、最先端の単一ネットワークと比較して、4倍および32倍の超解像で平均精度が11.8%および108%向上することを示します。メソッド。この作業は、画像ベースの損失とタスク固有の損失を共同で検討することで、両方のパフォーマンスを向上させ、航空画像のセマンティックを意識した超解像の最先端を向上させることができることを示しています。
This work addresses the problems of semantic segmentation and image super-resolution by jointly considering the performance of both in training a Generative Adversarial Network (GAN). We propose a novel architecture and domain-specific feature loss, allowing super-resolution to operate as a pre-processing step to increase the performance of downstream computer vision tasks, specifically semantic segmentation. We demonstrate this approach using Nearmap's aerial imagery dataset which covers hundreds of urban areas at 5-7 cm per pixel resolution. We show the proposed approach improves perceived image quality as well as quantitative segmentation accuracy across all prediction classes, yielding an average accuracy improvement of 11.8% and 108% at 4x and 32x super-resolution, compared with state-of-the art single-network methods. This work demonstrates that jointly considering image-based and task-specific losses can improve the performance of both, and advances the state-of-the-art in semantic-aware super-resolution of aerial imagery.