arXiv reaDer
TransMVSNet:トランスフォーマーを備えたグローバルコンテキストアウェアマルチビューステレオネットワーク
TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers
このホワイトペーパーでは、マルチビューステレオ(MVS)での機能マッチングの調査に基づいて、TransMVSNetを紹介します。 MVSを機能マッチングタスクの性質に戻し、強力な機能マッチングトランスフォーマー(FMT)を提案して、画像内および画像全体の長距離コンテキスト情報を集約するために、内部(自己)および相互(相互)の注意を活用します。 。 FMTのより良い適応を促進するために、Adaptive Receptive Field(ARF)モジュールを活用して、機能のスコープ内をスムーズに通過し、さまざまなステージを機能パスウェイでブリッジして、変換された機能と勾配をさまざまなスケールに渡します。さらに、ペアワイズ特徴相関を適用して特徴間の類似性を測定し、曖昧さを低減する焦点損失を採用して監視を強化します。私たちの知る限り、TransMVSNetはTransformerをMVSのタスクに活用する最初の試みです。その結果、私たちの方法は、DTUデータセット、Tanks and Templesベンチマーク、およびBlendedMVSデータセットで最先端のパフォーマンスを実現します。このメソッドのコードは、https://github.com/MegviiRobot/TransMVSNetで入手できます。
In this paper, we present TransMVSNet, based on our exploration of feature matching in multi-view stereo (MVS). We analogize MVS back to its nature of a feature matching task and therefore propose a powerful Feature Matching Transformer (FMT) to leverage intra- (self-) and inter- (cross-) attention to aggregate long-range context information within and across images. To facilitate a better adaptation of the FMT, we leverage an Adaptive Receptive Field (ARF) module to ensure a smooth transit in scopes of features and bridge different stages with a feature pathway to pass transformed features and gradients across different scales. In addition, we apply pair-wise feature correlation to measure similarity between features, and adopt ambiguity-reducing focal loss to strengthen the supervision. To the best of our knowledge, TransMVSNet is the first attempt to leverage Transformer into the task of MVS. As a result, our method achieves state-of-the-art performance on DTU dataset, Tanks and Temples benchmark, and BlendedMVS dataset. The code of our method will be made available at https://github.com/MegviiRobot/TransMVSNet .
updated: Mon Nov 29 2021 15:31:49 GMT+0000 (UTC)
published: Mon Nov 29 2021 15:31:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト