深度の完了は、既知の深度値のまばらなセットから始まり、残りの画像ピクセルの未知の深度を推定します。ほとんどの方法は、これを深度補間としてモデル化し、深度ピクセルを空間的に異なるオブジェクト間の空のスペースに誤って補間し、その結果、オクルージョン境界を越えて深度スミアリングが発生します。ここでは、困難な閉塞境界領域の前景と背景の両方の深さを明示的にモデル化する複数の仮説の深さ表現を提案します。私たちの方法は、これらの領域で内挿ではなく、双晶表面外挿を実行するものと考えることができます。次に、私たちの方法は、画像データを活用して、これらの外挿された表面を単一の深度画像に融合します。私たちの方法の鍵は、新しい双晶表面表現で動作する非対称損失関数の使用です。これにより、表面外挿と表面融合を同時に実行するようにネットワークをトレーニングできます。損失関数を特徴付け、他の一般的な損失と比較します。最後に、3つの異なるデータセットでメソッドを検証します。 KITTI、屋外の実世界のデータセット、NYU2、屋内の実世界の深度データセット、およびVirtual KITTI、高密度のグラウンドトゥルースを備えたフォトリアリスティックな合成データセットであり、最先端技術に対する改善を示しています。
Depth completion starts from a sparse set of known depth values and estimates the unknown depths for the remaining image pixels. Most methods model this as depth interpolation and erroneously interpolate depth pixels into the empty space between spatially distinct objects, resulting in depth-smearing across occlusion boundaries. Here we propose a multi-hypothesis depth representation that explicitly models both foreground and background depths in the difficult occlusion-boundary regions. Our method can be thought of as performing twin-surface extrapolation, rather than interpolation, in these regions. Next our method fuses these extrapolated surfaces into a single depth image leveraging the image data. Key to our method is the use of an asymmetric loss function that operates on a novel twin-surface representation. This enables us to train a network to simultaneously do surface extrapolation and surface fusion. We characterize our loss function and compare with other common losses. Finally, we validate our method on three different datasets; KITTI, an outdoor real-world dataset, NYU2, indoor real-world depth dataset and Virtual KITTI, a photo-realistic synthetic dataset with dense groundtruth, and demonstrate improvement over the state of the art.