arXiv reaDer
EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection
 最近、エンドツーエンドの畳み込みニューラルネットワーク(CNN)の開発を活用して、ディープステレオマッチングネットワークは、従来のアプローチをはるかに超える顕著なパフォーマンスを達成しました。ただし、最先端のステレオフレームワークには、テクスチャのない領域、詳細な構造、小さなオブジェクト、境界付近で正しい対応を見つけるのにまだ困難があります。これは、エッジの輪郭や対応する制約などの幾何学的な手がかりで緩和できます。これらの困難な分野での視差推定の品質を向上させるために、視差マップとエッジの両方のエンドツーエンドの予測を可能にする、視差推定ブランチとエッジ検出ブランチで構成される効果的なマルチタスク学習ネットワーク、EdgeStereoを提案します地図。エッジキューを効果的に組み込むために、タスク間相互作用のためのエッジ認識の滑らかさの損失とエッジ機能の埋め込みを提案します。統合モデルに基づいて、エッジ検出タスクとステレオマッチングタスクが互いに促進できることが実証されています。さらに、現在のステレオマッチングネットワークで一般的に使用されている多段カスケード構造または3次元畳み込みベースの正則化モジュールを置き換えるために、残余ピラミッドと呼ばれるコンパクトなモジュールを設計します。論文の提出時までに、EdgeStereoはFlyingThings3Dデータセット、KITTI 2012およびKITTI 2015ステレオベンチマークで最先端のパフォーマンスを達成し、他の公開されているステレオマッチング方法よりも注目すべきマージンを上回っています。 EdgeStereoは、エッジキューの組み込みにより、視差推定の同等の一般化パフォーマンスも実現します。
Recently, leveraging on the development of end-to-end convolutional neural networks (CNNs), deep stereo matching networks have achieved remarkable performance far exceeding traditional approaches. However, state-of-the-art stereo frameworks still have difficulties at finding correct correspondences in texture-less regions, detailed structures, small objects and near boundaries, which could be alleviated by geometric clues such as edge contours and corresponding constraints. To improve the quality of disparity estimates in these challenging areas, we propose an effective multi-task learning network, EdgeStereo, composed of a disparity estimation branch and an edge detection branch, which enables end-to-end predictions of both disparity map and edge map. To effectively incorporate edge cues, we propose the edge-aware smoothness loss and edge feature embedding for inter-task interactions. It is demonstrated that based on our unified model, edge detection task and stereo matching task can promote each other. In addition, we design a compact module called residual pyramid to replace the commonly-used multi-stage cascaded structures or 3-D convolution based regularization modules in current stereo matching networks. By the time of the paper submission, EdgeStereo achieves state-of-art performance on the FlyingThings3D dataset, KITTI 2012 and KITTI 2015 stereo benchmarks, outperforming other published stereo matching methods by a noteworthy margin. EdgeStereo also achieves comparable generalization performance for disparity estimation because of the incorporation of edge cues.
updated: Wed Dec 11 2019 05:55:13 GMT+0000 (UTC)
published: Tue Mar 05 2019 07:00:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト