深度補完の基本的なフレームワークは、非常にまばらな入力データを使用して、ピクセル単位の密な深度マップを予測することです。この論文では、回帰ベースの深度推定問題を深度平面分類と残余回帰の組み合わせに再定式化することにより、この問題をより効果的な方法で解決しようとします。私たちが提案するアプローチは、最初にピクセルがいくつかの離散化された深度平面の中でどの平面にあるべきかを理解することによってまばらな深度情報を高密度化し、次に指定された平面からの距離を予測することによって最終的な深度値を計算することです。これにより、ネットワークは絶対深度情報をゼロから直接回帰する負担を軽減し、より少ない計算能力と推論時間でより正確な深度予測結果を効果的に取得できます。そのために、まず、最も近い深度平面ラベルpと残差値rを使用して深度情報を解釈する新しい方法を紹介します。これを平面残差(PR)表現と呼びます。また、共有エンコーダーと2つのデコーダーで構成されるPR表現を利用した深度補完ネットワークを提案します。一方はピクセルの深度平面ラベルを分類し、もう一方は分類された深度平面から正規化された距離を回帰します。 PR表現で深度情報を解釈し、対応する深度完了ネットワークを使用することにより、以前のアプローチと比較して、より高速な計算で改善された深度完了パフォーマンスを取得することができました。
The basic framework of depth completion is to predict a pixel-wise dense depth map using very sparse input data. In this paper, we try to solve this problem in a more effective way, by reformulating the regression-based depth estimation problem into a combination of depth plane classification and residual regression. Our proposed approach is to initially densify sparse depth information by figuring out which plane a pixel should lie among a number of discretized depth planes, and then calculate the final depth value by predicting the distance from the specified plane. This will help the network to lessen the burden of directly regressing the absolute depth information from none, and to effectively obtain more accurate depth prediction result with less computation power and inference time. To do so, we firstly introduce a novel way of interpreting depth information with the closest depth plane label p and a residual value r, as we call it, Plane-Residual (PR) representation. We also propose a depth completion network utilizing PR representation consisting of a shared encoder and two decoders, where one classifies the pixel's depth plane label, while the other one regresses the normalized distance from the classified depth plane. By interpreting depth information in PR representation and using our corresponding depth completion network, we were able to acquire improved depth completion performance with faster computation, compared to previous approaches.