arXiv reaDer
Learning Depth with Convolutional Spatial Propagation Network
  深度予測は、コンピュータービジョンの基本的な問題の1つです。本稿では、さまざまな深度推定タスクのアフィニティマトリックスを学習するために、シンプルでありながら効果的な畳み込み空間伝搬ネットワーク(CSPN)を提案します。具体的には、効率的な線形伝播モデルであり、伝播は反復的な畳み込み演算の方法で実行され、隣接ピクセル間の親和性は深い畳み込みニューラルネットワーク(CNN)を通じて学習されます。このモジュールを最先端の(SOTA)深度推定ネットワークからの出力に追加して、パフォーマンスを向上させることができます。実際には、2つの側面でCSPNをさらに拡張します。1)追加の入力としてスパース深度マップを取得します。これは深度完了のタスクに役立ちます。 2)CNNで一般的に使用される3Dコンボリューション操作と同様に、3Dコストボリュームを使用したステレオマッチングのタスクに有効な1つの追加ディメンションでフィーチャを処理する3D CSPNを提案します。疎から密のタスクの場合、別名深さ補完。人気のあるNYU v2およびKITTIデータセットで提案されたCPSN連結アルゴリズムを実験し、提案されたアルゴリズムが高品質(たとえば、深度エラーの30%減少)をもたらすだけでなく、より高速に(たとえば、2から5x以前のSOTA空間伝播ネットワークよりも高速です。また、Scene FlowおよびKITTI Stereoデータセットでステレオマッチングアルゴリズムを評価し、KITTI Stereo 2012および2015ベンチマークの両方で1位にランクされました。これは、提案されたモジュールの有効性を示しています。この作業で提案されたCSPNのコードは、でリリースされます。
Depth prediction is one of the fundamental problems in computer vision. In this paper, we propose a simple yet effective convolutional spatial propagation network (CSPN) to learn the affinity matrix for various depth estimation tasks. Specifically, it is an efficient linear propagation model, in which the propagation is performed with a manner of recurrent convolutional operation, and the affinity among neighboring pixels is learned through a deep convolutional neural network (CNN). We can append this module to any output from a state-of-the-art (SOTA) depth estimation networks to improve their performances. In practice, we further extend CSPN in two aspects: 1) take sparse depth map as additional input, which is useful for the task of depth completion; 2) similar to commonly used 3D convolution operation in CNNs, we propose 3D CSPN to handle features with one additional dimension, which is effective in the task of stereo matching using 3D cost volume. For the tasks of sparse to dense, a.k.a depth completion. We experimented the proposed CPSN conjunct algorithms over the popular NYU v2 and KITTI datasets, where we show that our proposed algorithms not only produce high quality (e.g., 30% more reduction in depth error), but also run faster (e.g., 2 to 5x faster) than previous SOTA spatial propagation network. We also evaluated our stereo matching algorithm on the Scene Flow and KITTI Stereo datasets, and rank 1st on both the KITTI Stereo 2012 and 2015 benchmarks, which demonstrates the effectiveness of the proposed module. The code of CSPN proposed in this work will be released at
updated: Fri Oct 04 2019 03:29:01 GMT+0000 (UTC)
published: Thu Oct 04 2018 13:32:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト