雪の日にキャプチャされた画像は、シーンの可視性が著しく低下し、現在のビジョンベースのインテリジェントシステムのパフォーマンスが低下します。したがって、画像から除雪することは、コンピュータビジョンの重要なトピックです。この論文では、意味論的および幾何学的な事前分布を利用することにより、除雪のためのディープデンスマルチスケールネットワーク(DDMSNet)を提案します。屋外でキャプチャされた画像はよく似たシーンを共有し、その可視性はカメラからの深さによって異なるため、このような意味的および幾何学的情報は、雪に覆われた画像の復元の強力な事前確率を提供します。セマンティックマップとジオメトリックマップを入力として組み込み、セマンティック対応とジオメトリ対応の表現を学習して除雪します。特に、最初に粗いネットワークを作成して、入力画像から雪を取り除きます。次に、粗く脱雪された画像が別のネットワークに送られ、意味的および幾何学的なラベルが取得されます。最後に、DDMSNetを設計して、自己注意メカニズムを介してセマンティック対応およびジオメトリ対応の表現を学習し、最終的なクリーンな画像を生成します。公共の合成画像と実際の雪の画像で評価された実験は、提案された方法の優位性を検証し、定量的および定性的に優れた結果を提供します。
Images captured in snowy days suffer from noticeable degradation of scene visibility, which degenerates the performance of current vision-based intelligent systems. Removing snow from images thus is an important topic in computer vision. In this paper, we propose a Deep Dense Multi-Scale Network (DDMSNet) for snow removal by exploiting semantic and geometric priors. As images captured in outdoor often share similar scenes and their visibility varies with depth from camera, such semantic and geometric information provides a strong prior for snowy image restoration. We incorporate the semantic and geometric maps as input and learn the semantic-aware and geometry-aware representation to remove snow. In particular, we first create a coarse network to remove snow from the input images. Then, the coarsely desnowed images are fed into another network to obtain the semantic and geometric labels. Finally, we design a DDMSNet to learn semantic-aware and geometry-aware representation via a self-attention mechanism to produce the final clean images. Experiments evaluated on public synthetic and real-world snowy images verify the superiority of the proposed method, offering better results both quantitatively and qualitatively.