自動運転やロボット用の既存のビジョンシステムは、窓やカメラのレンズに付着した水滴に敏感です。最近の水滴除去アプローチは、入力として単一の画像を取り、水滴の背後にある欠落したコンテンツを忠実に回復できないことがよくあります。したがって、ステレオ画像を使用した水滴除去の学習ベースのモデルを提案します。ステレオ画像から水滴をより適切に検出して除去するために、2つのステレオ画像間の効果的な情報伝播のために注意の受容野を拡大する新しい行方向の拡張注意モジュールを提案します。さらに、ステレオ画像の左右の一貫性を高めるために、グラウンドトゥルース視差マップと注意スコアの間の注意の一貫性の喪失を提案します。関連するデータセットが利用できないため、水滴がある場合とない場合のステレオ画像を含む実際のデータセットを収集します。私たちのデータセットでの広範な実験は、私たちのモデルが定量的および定性的に最先端の方法よりも優れていることを示唆しています。ソースコードとステレオウォータードロップデータセットは、https://github.com/VivianSZF/Stereo-Waterdrop-Removalhttps://github.com/VivianSZF/Stereo-Waterdrop-Removalで入手できます。
Existing vision systems for autonomous driving or robots are sensitive to waterdrops adhered to windows or camera lenses. Most recent waterdrop removal approaches take a single image as input and often fail to recover the missing content behind waterdrops faithfully. Thus, we propose a learning-based model for waterdrop removal with stereo images. To better detect and remove waterdrops from stereo images, we propose a novel row-wise dilated attention module to enlarge attention's receptive field for effective information propagation between the two stereo images. In addition, we propose an attention consistency loss between the ground-truth disparity map and attention scores to enhance the left-right consistency in stereo images. Because of related datasets' unavailability, we collect a real-world dataset that contains stereo images with and without waterdrops. Extensive experiments on our dataset suggest that our model outperforms state-of-the-art methods both quantitatively and qualitatively. Our source code and the stereo waterdrop dataset are available at https://github.com/VivianSZF/Stereo-Waterdrop-Removalhttps://github.com/VivianSZF/Stereo-Waterdrop-Removal