arXiv reaDer
Non-local Recurrent Regularization Networks for Multi-view Stereo
ディープマルチビューステレオネットワークでは、正確な深度推定を実現するには、コストの正則化が重要です。 3Dコストボリュームフィルタリングは通常メモリを消費するため、2Dコストマップの正則化が最近一般的になり、さまざまなスケールの3Dモデルを再構築する大きな可能性を示しています。ただし、既存の反復メソッドは、深度ドメインのローカル依存関係のみをモデル化するため、深度ディメンションに沿ってグローバルシーンコンテキストをキャプチャする機能が大幅に制限されます。この制限に取り組むために、NR2-Netという名前のマルチビューステレオ用の新しい非ローカル反復正則化ネットワークを提案します。具体的には、スライディングデプスブロック内の非局所的なデプスインタラクションをキャプチャするデプスアテンションモジュールを設計します。次に、異なるブロック間のグローバルシーンコンテキストがゲートされた反復的な方法でモデル化されます。このようにして、深さの次元に沿った長距離の依存関係がキャプチャされ、コストの正則化が容易になります。さらに、アルゴリズムの堅牢性を向上させるために、動的深度マップ融合戦略を設計します。私たちの方法は、DTUとTanks andTemplesデータセットの両方で最先端の再構築結果を実現します。
In deep multi-view stereo networks, cost regularization is crucial to achieve accurate depth estimation. Since 3D cost volume filtering is usually memory-consuming, recurrent 2D cost map regularization has recently become popular and has shown great potential in reconstructing 3D models of different scales. However, existing recurrent methods only model the local dependencies in the depth domain, which greatly limits the capability of capturing the global scene context along the depth dimension. To tackle this limitation, we propose a novel non-local recurrent regularization network for multi-view stereo, named NR2-Net. Specifically, we design a depth attention module to capture non-local depth interactions within a sliding depth block. Then, the global scene context between different blocks is modeled in a gated recurrent manner. This way, the long-range dependencies along the depth dimension are captured to facilitate the cost regularization. Moreover, we design a dynamic depth map fusion strategy to improve the algorithm robustness. Our method achieves state-of-the-art reconstruction results on both DTU and Tanks and Temples datasets.
updated: Wed Oct 13 2021 01:43:54 GMT+0000 (UTC)
published: Wed Oct 13 2021 01:43:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト