arXiv reaDer
CSPN ++:深さ補完のための学習コンテキストとリソース認識畳み込み空間伝搬ネットワーク
CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion
 深度補完は、対応するカラー画像が与えられた場合に、疎な深度マップを密な深度マップに変換する問題を扱います。畳み込み空間伝播ネットワーク(CSPN)は、シーンの構造的な詳細を復元する深度補完の最先端(SoTA)の方法の1つです。この論文では、CSPN ++を提案します。これは、適応畳み込みカーネルサイズと伝搬の反復回数を学習することにより、その有効性と効率をさらに向上させます。したがって、各ピクセルで必要なコンテキストと計算リソースを要求に応じて動的に割り当てることができます。具体的には、2つのハイパーパラメーターの学習をアーキテクチャ選択問題として定式化し、カーネルサイズと反復回数のさまざまな構成を最初に定義してから、ソフトウェイトパラメーターのセットをトレーニングして、事前に適切にアセンブルまたは選択します-各ピクセルで定義された構成。私たちの実験では、重み付きアセンブルにより、「コンテキスト対応CSPN」と呼ばれる大幅な精度の向上がもたらされることがわかります。一方、重み付き選択「リソース対応CSPN」は、同等またはより高い精度で計算リソースを大幅に削減できます。また、CSPN ++に必要なリソースはw.r.tで調整できます。計算予算を自動的に。最後に、ノイズや不正確なスパース深度の副作用を回避するために、CSPN ++内にゲートネットワークを埋め込み、パフォーマンスをさらに向上させます。 CSPNおよび他のSoTAメソッドよりも大幅に改善されたKITTI深度補完ベンチマークで、CSPN ++の有効性を実証します。
Depth Completion deals with the problem of converting a sparse depth map to a dense one, given the corresponding color image. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art (SoTA) methods of depth completion, which recovers structural details of the scene. In this paper, we propose CSPN++, which further improves its effectiveness and efficiency by learning adaptive convolutional kernel sizes and the number of iterations for the propagation, thus the context and computational resources needed at each pixel could be dynamically assigned upon requests. Specifically, we formulate the learning of the two hyper-parameters as an architecture selection problem where various configurations of kernel sizes and numbers of iterations are first defined, and then a set of soft weighting parameters are trained to either properly assemble or select from the pre-defined configurations at each pixel. In our experiments, we find weighted assembling can lead to significant accuracy improvements, which we referred to as "context-aware CSPN", while weighted selection, "resource-aware CSPN" can reduce the computational resource significantly with similar or better accuracy. Besides, the resource needed for CSPN++ can be adjusted w.r.t. the computational budget automatically. Finally, to avoid the side effects of noise or inaccurate sparse depths, we embed a gated network inside CSPN++, which further improves the performance. We demonstrate the effectiveness of CSPN++on the KITTI depth completion benchmark, where it significantly improves over CSPN and other SoTA methods.
updated: Fri Nov 22 2019 03:44:45 GMT+0000 (UTC)
published: Wed Nov 13 2019 10:04:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト