arXiv reaDer
共同翻訳を使用した夜間のステレオ深度推定-ステレオ学習:光の影響と情報量の少ない領域
Nighttime Stereo Depth Estimation using Joint Translation-Stereo Learning: Light Effects and Uninformative Regions
昼間の照明条件に関連する仮定がもはや成り立たないため、夜間のステレオ深度の推定は依然として困難です。夜間は、低照度で高密度のノイズだけでなく、グロー/グレア、フレア、不均一な配光なども関係します。考えられる解決策の1つは、完全に監視された方法で夜間のステレオ画像でネットワークをトレーニングすることです。ただし、グレア/グローに依存せず、十分に遠い深度範囲を持つ、密度の高い適切な視差グラウンドトゥルースを取得することは非常に困難です。この問題に対処するために、昼/夜の翻訳とステレオに参加するネットワークを導入します。ネットワークのトレーニングでは、私たちの方法では、夜の画像のグラウンドトゥルースの不一致や、昼と夜の画像のペアは必要ありません。昼のステレオ画像からリアルな夜のステレオ画像をレンダリングできる翻訳ネットワークを利用しています。次に、対応する昼のステレオ画像から利用可能な視差監視を使用して、レンダリングされた夜のステレオ画像でステレオネットワークをトレーニングし、同時に昼/夜の変換ネットワークもトレーニングします。構造保存と重み付き滑らかさを追加することにより、光の影響(例:グロー/グレア)と情報のない領域(例:低光と飽和領域)の教師なし/対になっていない変換によって発生する偽の深さの問題を処理します制約。私たちの実験は、私たちの方法が夜の画像のベースライン方法よりも優れていることを示しています。
Nighttime stereo depth estimation is still challenging, as assumptions associated with daytime lighting conditions do not hold any longer. Nighttime is not only about low-light and dense noise, but also about glow/glare, flares, non-uniform distribution of light, etc. One of the possible solutions is to train a network on night stereo images in a fully supervised manner. However, to obtain proper disparity ground-truths that are dense, independent from glare/glow, and have sufficiently far depth ranges is extremely intractable. To address the problem, we introduce a network joining day/night translation and stereo. In training the network, our method does not require ground-truth disparities of the night images, or paired day/night images. We utilize a translation network that can render realistic night stereo images from day stereo images. We then train a stereo network on the rendered night stereo images using the available disparity supervision from the corresponding day stereo images, and simultaneously also train the day/night translation network. We handle the fake depth problem, which occurs due to the unsupervised/unpaired translation, for light effects (e.g., glow/glare) and uninformative regions (e.g., low-light and saturated regions), by adding structure-preservation and weighted-smoothness constraints. Our experiments show that our method outperforms the baseline methods on night images.
updated: Fri Oct 09 2020 01:26:10 GMT+0000 (UTC)
published: Mon Sep 30 2019 13:52:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト