arXiv reaDer
Physics-Based Rendering for Improving Robustness to Rain
  雨に対する堅牢性を向上させるために、晴天画像に雨を現実的に挿入するための物理ベースの雨レンダリングパイプラインを紹介します。レンダリングは、物理的なパーティクルシミュレータ、シーンの照明の推定、正確な雨の測光モデリングに基づいて、任意の量の現実的な雨や霧で画像を補強します。ユーザースタディでレンダリングを検証し、雨が最新技術よりも40%現実的であると判断しています。生成された気象増強KittiおよびCityscapesデータセットを使用して、深いオブジェクト検出およびセマンティックセグメンテーションアルゴリズムの徹底的な評価を実施し、劣化した気象でパフォーマンスが低下することを示します。これは、オブジェクト検出で15%、セマンティックセグメンテーションで60%です。さらに、既存のネットワークを改良された画像で改良すると、オブジェクト検出アルゴリズムとセマンティックセグメンテーションアルゴリズムの両方の堅牢性が向上することがわかります。 nuScenesで実験し、元の雨のパフォーマンスと比較して、オブジェクト検出で15%、セマンティックセグメンテーションで35%の改善を測定します。拡張されたデータベースとコードは、プロジェクトページで利用できます。
To improve the robustness to rain, we present a physically-based rain rendering pipeline for realistically inserting rain into clear weather images. Our rendering relies on a physical particle simulator, an estimation of the scene lighting and an accurate rain photometric modeling to augment images with arbitrary amount of realistic rain or fog. We validate our rendering with a user study, proving our rain is judged 40% more realistic that state-of-the-art. Using our generated weather augmented Kitti and Cityscapes dataset, we conduct a thorough evaluation of deep object detection and semantic segmentation algorithms and show that their performance decreases in degraded weather, on the order of 15% for object detection and 60% for semantic segmentation. Furthermore, we show refining existing networks with our augmented images improves the robustness of both object detection and semantic segmentation algorithms. We experiment on nuScenes and measure an improvement of 15% for object detection and 35% for semantic segmentation compared to original rainy performance. Augmented databases and code are available on the project page.
updated: Tue Aug 27 2019 17:13:46 GMT+0000 (UTC)
published: Tue Aug 27 2019 17:13:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト