arXiv reaDer
360MonoDepth:高解像度360°単眼深度推定
360MonoDepth: High-Resolution 360° Monocular Depth Estimation
360°カメラは1回のショットで完全な環境をキャプチャできるため、360°画像は多くのコンピュータビジョンタスクで魅力的です。ただし、単眼深度の推定は、360°データ、特に新規ビュー合成やバーチャルリアリティアプリケーションにとって重要な2K(2048×1024)などの高解像度では依然として課題です。現在のCNNベースの方法は、GPUメモリが限られているため、このような高解像度をサポートしていません。この作業では、接線画像を使用して高解像度360°画像から単眼深度推定のための柔軟なフレームワークを提案します。 360°入力画像を、最新の最も正確な最先端の遠近法単眼深度推定器に適した遠近法ビューを生成する一連の接平面に投影します。変形可能なマルチスケールアラインメントとそれに続く勾配ドメインブレンディングを使用して個々の深度推定値を再結合し、視差推定値の一貫性を向上させます。その結果、既存の方法ではサポートされていない屋外シーンでも、高レベルの詳細を備えた高密度で高解像度の360°深度マップが作成されます。
360° cameras can capture complete environments in a single shot, which makes 360° imagery alluring in many computer vision tasks. However, monocular depth estimation remains a challenge for 360° data, particularly for high resolutions like 2K (2048×1024) that are important for novel-view synthesis and virtual reality applications. Current CNN-based methods do not support such high resolutions due to limited GPU memory. In this work, we propose a flexible framework for monocular depth estimation from high-resolution 360° images using tangent images. We project the 360° input image onto a set of tangent planes that produce perspective views, which are suitable for the latest, most accurate state-of-the-art perspective monocular depth estimators. We recombine the individual depth estimates using deformable multi-scale alignment followed by gradient-domain blending to improve the consistency of disparity estimates. The result is a dense, high-resolution 360° depth map with a high level of detail, also for outdoor scenes which are not supported by existing methods.
updated: Tue Nov 30 2021 18:57:29 GMT+0000 (UTC)
published: Tue Nov 30 2021 18:57:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト