arXiv reaDer
Self-Supervised Deep Depth Denoising
  奥行き知覚は、さまざまな視覚タスクのための貴重な情報源と考えられています。ただし、消費者レベルのセンサーを使用して取得した深度マップには、無視できないノイズが依然としてあります。この事実は、幾何学的な詳細を維持しながら前述の不均一なノイズを抑制するために、最近、研究者が従来のフィルターと深層学習パラダイムを活用するよう動機づけました。努力にもかかわらず、深層ノイズ除去は、主にグラウンドトゥルースとして使用できるクリーンなデータがないため、未解決の課題です。このホワイトペーパーでは、深さマップのノイズ除去を学習し、グラウンドトゥルースデータの欠如を上回る完全な畳み込みディープオートエンコーダーを提案します。具体的には、提案されたオートエンコーダーは、トレーニング中に深度と色の情報を使用し、推論中は深度のみを使用して、自己監視型のエンドツーエンド方式でノイズを抑制することを学習するために、異なる視点から同じシーンの複数のビューを活用します。自己監視を実施するために、微分可能なレンダリング手法を活用して、測光的監視を活用します。これは、幾何学および表面事前分布を使用してさらに正規化されます。提案されたアプローチは生データの取得に依存しているため、Intel RealSenseセンサーを使用して大きなRGB-Dコーパスが収集されます。定量的評価を補完するものとして、確立された3D再構成アプリケーションに対する提案された自己監視型ノイズ除去アプローチの有効性を示します。コードはで利用できます
Depth perception is considered an invaluable source of information for various vision tasks. However, depth maps acquired using consumer-level sensors still suffer from non-negligible noise. This fact has recently motivated researchers to exploit traditional filters, as well as the deep learning paradigm, in order to suppress the aforementioned non-uniform noise, while preserving geometric details. Despite the effort, deep depth denoising is still an open challenge mainly due to the lack of clean data that could be used as ground truth. In this paper, we propose a fully convolutional deep autoencoder that learns to denoise depth maps, surpassing the lack of ground truth data. Specifically, the proposed autoencoder exploits multiple views of the same scene from different points of view in order to learn to suppress noise in a self-supervised end-to-end manner using depth and color information during training, yet only depth during inference. To enforce selfsupervision, we leverage a differentiable rendering technique to exploit photometric supervision, which is further regularized using geometric and surface priors. As the proposed approach relies on raw data acquisition, a large RGB-D corpus is collected using Intel RealSense sensors. Complementary to a quantitative evaluation, we demonstrate the effectiveness of the proposed self-supervised denoising approach on established 3D reconstruction applications. Code is avalable at
updated: Wed Sep 04 2019 09:18:14 GMT+0000 (UTC)
published: Tue Sep 03 2019 14:08:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト