arXiv reaDer
ORStereo:4K解像度画像のオクルージョンを意識した反復ステレオマッチング
ORStereo: Occlusion-Aware Recurrent Stereo Matching for 4K-Resolution Images
小さな画像でトレーニングされたステレオ再構成モデルは、高解像度データにうまく一般化されません。高解像度の画像サイズでモデルをトレーニングすることは、データの可用性の問題に直面し、コンピューティングリソースが限られているために実行不可能なことがよくあります。この作業では、利用可能な低視差範囲のステレオ画像のトレーニングのみでこれらの問題に対処する、オクルージョンを意識した反復双眼ステレオマッチング(ORStereo)を紹介します。 ORStereoは、タスクを残差更新および初期予測の改良として定式化することにより、大きな視差範囲を持つ目に見えない高解像度画像に一般化します。 ORStereoは、視差範囲が256ピクセルに制限された画像でトレーニングされていますが、限られたGPUメモリを使用して、視差が1000を超える4K解像度の入力を操作できます。合成画像と実際の高解像度画像の両方でモデルの機能をテストします。実験結果は、ORStereoが、大きな視差範囲でトレーニングされた最先端の方法と比較して、4K解像度の画像で同等のパフォーマンスを達成することを示しています。低解像度の画像でのみトレーニングされる他の方法と比較して、私たちの方法は4K解像度の画像で70%正確です。
Stereo reconstruction models trained on small images do not generalize well to high-resolution data. Training a model on high-resolution image size faces difficulties of data availability and is often infeasible due to limited computing resources. In this work, we present the Occlusion-aware Recurrent binocular Stereo matching (ORStereo), which deals with these issues by only training on available low disparity range stereo images. ORStereo generalizes to unseen high-resolution images with large disparity ranges by formulating the task as residual updates and refinements of an initial prediction. ORStereo is trained on images with disparity ranges limited to 256 pixels, yet it can operate 4K-resolution input with over 1000 disparities using limited GPU memory. We test the model's capability on both synthetic and real-world high-resolution images. Experimental results demonstrate that ORStereo achieves comparable performance on 4K-resolution images compared to state-of-the-art methods trained on large disparity ranges. Compared to other methods that are only trained on low-resolution images, our method is 70% more accurate on 4K-resolution images.
updated: Sat Mar 13 2021 21:46:06 GMT+0000 (UTC)
published: Sat Mar 13 2021 21:46:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト