arXiv reaDer
SfM-TTR: シングルビュー デプス ネットワークのテスト時間改良のためのモーションからの構造の使用
SfM-TTR: Using Structure from Motion for Test-Time Refinement of Single-View Depth Networks
単一のビューから高密度の深度マップを推定することは、幾何学的に不適切であり、最先端の方法は、ディープ ニューラル ネットワークを使用して深度と外観の関係を学習することに依存しています。一方、Structure from Motion (SfM) は、マルチビューの制約を活用して、非常に正確ですがまばらなマップを生成します。これは、画像間のマッチングが通常、局所的に識別可能なテクスチャによって制限されるためです。この作業では、SfM マルチビュー キューを使用してテスト時にシングルビュー深度ネットワークのパフォーマンスを向上させる、SfM-TTR と呼ばれる新しいテスト時間調整 (TTR) メソッドを提案することにより、両方のアプローチの長所を組み合わせます。具体的には、最新技術とは異なり、疎な SfM 点群をテスト時の自己監視信号として使用し、ネットワーク エンコーダーを微調整して、テスト シーンのより良い表現を学習します。私たちの結果は、いくつかの最先端の自己監視型および監視型ネットワークに SfM-TTR を追加すると、主に測光マルチビューの一貫性に基づいて以前の TTR ベースラインよりもパフォーマンスが大幅に向上することを示しています。コードは https://github.com/serizba/SfM-TTR で入手できます。
Estimating a dense depth map from a single view is geometrically ill-posed, and state-of-the-art methods rely on learning depth's relation with visual appearance using deep neural networks. On the other hand, Structure from Motion (SfM) leverages multi-view constraints to produce very accurate but sparse maps, as matching across images is typically limited by locally discriminative texture. In this work, we combine the strengths of both approaches by proposing a novel test-time refinement (TTR) method, denoted as SfM-TTR, that boosts the performance of single-view depth networks at test time using SfM multi-view cues. Specifically, and differently from the state of the art, we use sparse SfM point clouds as test-time self-supervisory signal, fine-tuning the network encoder to learn a better representation of the test scene. Our results show how the addition of SfM-TTR to several state-of-the-art self-supervised and supervised networks improves significantly their performance, outperforming previous TTR baselines mainly based on photometric multi-view consistency. The code is available at https://github.com/serizba/SfM-TTR.
updated: Fri Mar 31 2023 11:37:12 GMT+0000 (UTC)
published: Thu Nov 24 2022 12:02:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト