画像のドレインは、自動運転車のアプリケーションにおける新たな挑戦的な問題です。大雨の悪天候では、主にフロントガラスに当たる雨滴は、フロントガラスのワイパーがその一部を取り除くことができる場合でも、観測能力を大幅に低下させる可能性があります。さらに、フロントガラス上に広がる雨の流れは、屈折の物理的効果を生み出す可能性があり、視線を著しく妨げたり、車両に装備されている機械学習システムを弱体化させたりします。この論文では、車のフロントガラスに雨滴が当たるという困難な問題に対処するために、新しい多段マルチタスク反復生成敵対的ネットワーク(M2GAN)を提案します。この方法は、ガラス窓やレンズに現れる雨滴の除去にも適用できます。 M2GANは、セマンティックセグメンテーションなどの以前の高レベル情報を利用して、ドレインパフォーマンスを向上させることができる、マルチステージマルチタスク生成敵対的ネットワークです。 M2GANを実証するために、自動運転車の雨を取り除くための最初の実際のデータセットを紹介します。実験結果は、我々の提案した方法が、定量的測定基準と視覚的品質の点で、雨滴を排出する他の最先端のアプローチよりも優れていることを示しています。 M2GANは、自動運転車などの制約のない環境下での現実世界の雨の困難な問題に対処する最初の方法と見なされています。
Image deraining is a new challenging problem in applications of autonomous vehicles. In a bad weather condition of heavy rainfall, raindrops, mainly hitting the vehicle's windshield, can significantly reduce observation ability even though the windshield wipers might be able to remove part of it. Moreover, rain flows spreading over the windshield can yield the physical effect of refraction, which seriously impede the sightline or undermine the machine learning system equipped in the vehicle. In this paper, we propose a new multi-stage multi-task recurrent generative adversarial network (M2GAN) to deal with challenging problems of raindrops hitting the car's windshield. This method is also applicable for removing raindrops appearing on a glass window or lens. M2GAN is a multi-stage multi-task generative adversarial network that can utilize prior high-level information, such as semantic segmentation, to boost deraining performance. To demonstrate M2GAN, we introduce the first real-world dataset for rain removal on autonomous vehicles. The experimental results show that our proposed method is superior to other state-of-the-art approaches of deraining raindrops in respect of quantitative metrics and visual quality. M2GAN is considered the first method to deal with challenging problems of real-world rains under unconstrained environments such as autonomous vehicles.