arXiv reaDer
閉塞のあるレベルセット両眼ステレオ
Level Set Binocular Stereo with Occlusions
ステレオ境界は、一致する手がかりがない閉塞領域を誘発するため、ステレオ境界の位置を特定し、近くの視差を予測することは困難です。最新のコンピュータビジョンアルゴリズムのほとんどは、オクルージョンを二次的に処理するか(たとえば、マッチング後の左右の整合性チェックを介して)、または高レベルの手がかりに依存して近くの視差を改善します(たとえば、深いネットワークや大規模なトレーニングセットを介して)。彼らはステレオオクルージョンのジオメトリを無視します。これは、オクルージョンの空間範囲が、それを引き起こす視差ジャンプの振幅と等しくなければならないことを示しています。この論文では、オクルージョンジオメトリをエンコードすることで境界を改善するエネルギーおよびレベルセットオプティマイザを紹介します。私たちのモデルは、2層の図地のシーンに適用され、マルチスケール画像パッチの間引きされていない階層で主に親と子の間を通過するメッセージを使用して協調的に実装できます。 MiddleburyとFallingThingsのステレオデータセットからキュレーションされたフィギュアグラウンドシーンの小さなコレクションで、私たちのモデルは、以前のオクルージョン処理ステレオ技術よりも正確な境界を提供します。これは、人間のような方法でオクルージョンキューを組み込んだ協調ステレオシステムを作成するための新しい方向性を示唆しています。
Localizing stereo boundaries and predicting nearby disparities are difficult because stereo boundaries induce occluded regions where matching cues are absent. Most modern computer vision algorithms treat occlusions secondarily (e.g., via left-right consistency checks after matching) or rely on high-level cues to improve nearby disparities (e.g., via deep networks and large training sets). They ignore the geometry of stereo occlusions, which dictates that the spatial extent of occlusion must equal the amplitude of the disparity jump that causes it. This paper introduces an energy and level-set optimizer that improves boundaries by encoding occlusion geometry. Our model applies to two-layer, figure-ground scenes, and it can be implemented cooperatively using messages that pass predominantly between parents and children in an undecimated hierarchy of multi-scale image patches. In a small collection of figure-ground scenes curated from Middlebury and Falling Things stereo datasets, our model provides more accurate boundaries than previous occlusion-handling stereo techniques. This suggests new directions for creating cooperative stereo systems that incorporate occlusion cues in a human-like manner.
updated: Wed Sep 08 2021 07:22:25 GMT+0000 (UTC)
published: Wed Sep 08 2021 07:22:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト