arXiv reaDer
ローカルスケールに合わせた単眼ビデオ深度からの3Dシーン再構成に向けて
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
既存の単眼深度推定法は、さまざまなシーンで優れたロバスト性を実現していますが、未知のスケールとシフトまで、アフィン不変の深度しか取得できません。ただし、ビデオ深度推定やビデオからの3Dシーン再構築など、一部のビデオベースのシナリオでは、フレームごとの予測に存在する未知のスケールとシフトにより、深度の不整合が発生する可能性があります。この問題を解決するために、スケールを回復し、非常にスパースなアンカーポイントでシフトする、局所的に重み付けされた線形回帰法を提案します。これにより、連続するフレームに沿ったスケールの一貫性が保証されます。広範な実験により、私たちの方法は、いくつかのゼロショットベンチマークで既存の最先端のアプローチのパフォーマンスを最大で50%向上させることができることが示されています。さらに、630万を超えるRGBD画像をマージして、強力で堅牢な深度モデルをトレーニングします。作成されたResNet50バックボーンモデルは、最先端のDPTViT-Largeモデルよりも優れています。ジオメトリベースの再構成方法と組み合わせて、新しい高密度3Dシーン再構成パイプラインを作成します。これは、スパースポイントのスケールの一貫性と単眼法の堅牢性の両方の恩恵を受けます。ビデオに対して単純なフレームごとの予測を実行することにより、正確な3Dシーンの形状を復元できます。
Existing monocular depth estimation methods have achieved excellent robustness in diverse scenes, but they can only retrieve affine-invariant depth, up to an unknown scale and shift. However, in some video-based scenarios such as video depth estimation and 3D scene reconstruction from a video, the unknown scale and shift residing in per-frame prediction may cause the depth inconsistency. To solve this problem, we propose a locally weighted linear regression method to recover the scale and shift with very sparse anchor points, which ensures the scale consistency along consecutive frames. Extensive experiments show that our method can boost the performance of existing state-of-the-art approaches by 50% at most over several zero-shot benchmarks. Besides, we merge over 6.3 million RGBD images to train strong and robust depth models. Our produced ResNet50-backbone model even outperforms the state-of-the-art DPT ViT-Large model. Combining with geometry-based reconstruction methods, we formulate a new dense 3D scene reconstruction pipeline, which benefits from both the scale consistency of sparse points and the robustness of monocular methods. By performing the simple per-frame prediction over a video, the accurate 3D scene shape can be recovered.
updated: Thu Apr 06 2023 03:08:03 GMT+0000 (UTC)
published: Thu Feb 03 2022 08:52:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト