arXiv reaDer
Learning to Think Outside the Box: Wide-Baseline Light Field Depth Estimation with EPI-Shift
  完全な畳み込みニューラルネットワークアーキテクチャに基づいて、ライトフィールドデータから深度推定の方法を提案します。私たちの目標は、小さいベースラインと広いベースラインのライトフィールドに対して非常に正確な結果を達成するパイプラインを設計することです。ライトフィールドトレーニングデータは少ないため、すべての学習ベースのアプローチは小さな受容フィールドを使用し、小さな視差範囲で動作します。幅の広いベースラインライトフィールドで作業するために、EPIシフトの概念を導入します。視差範囲に関係なく、小さな受容フィールドを保持できるライトフィールドスタックを仮想的にシフトします。このようにして、私たちのアプローチは「受容分野の枠の外で考えることを学びます」。私たちのネットワークは、整数視差の共同分類と視差オフセットの回帰を実行します。 U-Netコンポーネントは、優れた長距離スムージングを提供します。 EPI-Shiftは、最先端の学習ベースのアプローチよりも大幅に優れており、手作りの方法と同等です。これは、公開されている合成の小規模なベースラインベンチマークおよび大規模なベースラインの実世界のレコーディングで実証されています。
We propose a method for depth estimation from light field data, based on a fully convolutional neural network architecture. Our goal is to design a pipeline which achieves highly accurate results for small- and wide-baseline light fields. Since light field training data is scarce, all learning-based approaches use a small receptive field and operate on small disparity ranges. In order to work with wide-baseline light fields, we introduce the idea of EPI-Shift: To virtually shift the light field stack which enables to retain a small receptive field, independent of the disparity range. In this way, our approach "learns to think outside the box of the receptive field". Our network performs joint classification of integer disparities and regression of disparity-offsets. A U-Net component provides excellent long-range smoothing. EPI-Shift considerably outperforms the state-of-the-art learning-based approaches and is on par with hand-crafted methods. We demonstrate this on a publicly available, synthetic, small-baseline benchmark and on large-baseline real-world recordings.
updated: Thu Sep 19 2019 15:57:17 GMT+0000 (UTC)
published: Thu Sep 19 2019 15:57:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト