arXiv reaDer
鋭い境界による単眼深度推定
Monocular Depth Estimation with Sharp Boundary
単眼深度推定は、コンピュータビジョンの基本的なタスクです。ディープラーニングの開発により、この10年間で驚異的な発展を遂げています。しかし、深度マップの境界のぼけは依然として深刻な問題です。研究によると、境界のぼけの問題は主に2つの要因によって引き起こされます。まず、境界と構造の情報を含む低レベルの特徴が、畳み込みプロセス中に深いネットワークで失われる可能性があります。次に、モデルは、次の理由で境界領域によって導入されたエラーを無視します。バックプロパゲーション中の領域全体の境界のいくつかの部分。境界のぼけの問題を軽減するために、上記の2つの影響要因に焦点を当てます。まず、シーン理解モジュールを設計して、低レベルおよび高レベルの機能を備えたグローバル情報を学習し、次に、デコーダーのさまざまなフェーズに従って、提案されたスケール変換モジュールを使用してグローバル情報をさまざまなスケールに変換します。次に、境界の深度値の影響に注意を払うために、境界を意識した深度損失関数を提案します。広範な実験は、私たちの方法がより明確な境界で深度マップを予測できること、およびNYU-depthv2とSUNRGB-Dに基づく深度精度ベースのパフォーマンスが競争力があることを示しています。
Monocular depth estimation is the base task in computer vision. It has a tremendous development in the decade with the development of deep learning. But the boundary blur of the depth map is still a serious problem. Research finds the boundary blur problem is mainly caused by two factors, first, the low-level features containing boundary and structure information may loss in deeper networks during the convolution process., second, the model ignores the errors introduced by the boundary area due to the few portions of the boundary in the whole areas during the backpropagation. In order to mitigate the boundary blur problem, we focus on the above two impact factors. Firstly, we design a scene understanding module to learn the global information with low- and high-level features, and then to transform the global information to different scales with our proposed scale transform module according to the different phases in the decoder. Secondly, we propose a boundary-aware depth loss function to pay attention to the effects of the boundary's depth value. The extensive experiments show that our method can predict the depth maps with clearer boundaries, and the performance of the depth accuracy base on NYU-depth v2 and SUN RGB-D is competitive.
updated: Tue Oct 12 2021 10:55:12 GMT+0000 (UTC)
published: Tue Oct 12 2021 10:55:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト