arXiv reaDer
DeepVideoMVS:繰り返しの時空間融合を備えたビデオのマルチビューステレオ
DeepVideoMVS: Multi-View Stereo on Video with Recurrent Spatio-Temporal Fusion
前のタイムステップで計算されたシーンジオメトリ情報が効率的で幾何学的にもっともらしい方法で現在のタイムステップに伝播される、ポーズをとったビデオストリームでのオンラインマルチビュー深度予測アプローチを提案します。私たちのアプローチのバックボーンは、画像のペアから計算されたコストボリュームに依存する、リアルタイム対応の軽量エンコーダーデコーダーです。ボトルネック層にConvLSTMセルを配置することで拡張します。これにより、任意の量の過去の情報がその状態で圧縮されます。目新しさは、時間ステップ間の視点の変化を説明することによって、セルの隠された状態を伝播することにあります。特定のタイムステップで、前の深度予測を使用して、前の非表示状態を現在のカメラ平面にワープします。私たちの拡張機能は、深度予測を大幅に改善しながら、計算時間とメモリ消費のわずかなオーバーヘッドのみをもたらします。その結果、リアルタイムのパフォーマンスを維持しながら、数百の屋内シーンで評価されたほとんどのメトリックで、既存の最先端のマルチビューステレオ方式を上回ります。利用可能なコード:https://github.com/ardaduz/deep-video-mvs
We propose an online multi-view depth prediction approach on posed video streams, where the scene geometry information computed in the previous time steps is propagated to the current time step in an efficient and geometrically plausible way. The backbone of our approach is a real-time capable, lightweight encoder-decoder that relies on cost volumes computed from pairs of images. We extend it by placing a ConvLSTM cell at the bottleneck layer, which compresses an arbitrary amount of past information in its states. The novelty lies in propagating the hidden state of the cell by accounting for the viewpoint changes between time steps. At a given time step, we warp the previous hidden state into the current camera plane using the previous depth prediction. Our extension brings only a small overhead of computation time and memory consumption, while improving the depth predictions significantly. As a result, we outperform the existing state-of-the-art multi-view stereo methods on most of the evaluated metrics in hundreds of indoor scenes while maintaining a real-time performance. Code available: https://github.com/ardaduz/deep-video-mvs
updated: Thu Jun 10 2021 17:59:04 GMT+0000 (UTC)
published: Thu Dec 03 2020 18:54:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト