近年、畳み込みニューラルネットワークベースの単一画像の悪天候除去方法により、多くのベンチマークデータセットで大幅なパフォーマンスの向上が達成されました。ただし、これらの方法では、トレーニングのために大量の晴天時の劣化した画像ペアが必要になります。これは、実際に取得するのが難しい場合がよくあります。さまざまな気象劣化合成方法が文献に存在しますが、合成的に生成された気象劣化画像を使用すると、合成画像と実世界画像の間のドメインギャップのために、実際の気象劣化画像のパフォーマンスが最適ではなくなることがよくあります。この問題に対処するために、さまざまな半教師あり復元(SSR)手法が提案されており、ラベルのない実世界の画像を使用してより一般化しながら、合成的に生成されたデータセットを使用してクリーンな画像を復元することを学習します。半教師ありメソッドのパフォーマンスは、基本的にラベルなしデータの品質に基づいています。特に、ラベルなしデータの特性がラベル付きデータの特性と大きく異なる場合、半教師ありメソッドのパフォーマンスは大幅に低下します。 SSRメソッドのパフォーマンスに対するラベルなしデータの影響を理論的に研究し、パフォーマンスを低下させるラベルなし画像を拒否する手法を開発します。広範な実験とアブレーション研究は、提案されたサンプル棄却法が既存のSSRの排水と曇り除去の方法の性能を大幅に向上させることを示しています。コードは次の場所で入手できます:https://github.com/rajeevyasarla/ART-SS
In recent years, convolutional neural network-based single image adverse weather removal methods have achieved significant performance improvements on many benchmark datasets. However, these methods require large amounts of clean-weather degraded image pairs for training, which is often difficult to obtain in practice. Although various weather degradation synthesis methods exist in the literature, the use of synthetically generated weather degraded images often results in sub-optimal performance on the real weather degraded images due to the domain gap between synthetic and real-world images. To deal with this problem, various semi-supervised restoration (SSR) methods have been proposed for deraining or dehazing which learn to restore the clean image using synthetically generated datasets while generalizing better using unlabeled real-world images. The performance of a semi-supervised method is essentially based on the quality of the unlabeled data. In particular, if the unlabeled data characteristics are very different from that of the labeled data, then the performance of a semi-supervised method degrades significantly. We theoretically study the effect of unlabeled data on the performance of an SSR method and develop a technique that rejects the unlabeled images that degrade the performance. Extensive experiments and ablation study show that the proposed sample rejection method increases the performance of existing SSR deraining and dehazing methods significantly. Code is available at :https://github.com/rajeevyasarla/ART-SS