ディープCNNベースの方法は、これまでのところ、マルチビュー3Dオブジェクト再構成における最先端の結果を達成しています。かなりの進歩にもかかわらず、これらの方法の2つのコアモジュールであるマルチビュー特徴抽出と融合は、通常、別々に調査され、異なるビューでのオブジェクト関係が調査されることはめったにありません。この論文では、自己注意ベースのTransformerモデルでの最近の大きな成功に触発されて、マルチビュー3D再構成をシーケンス間予測問題として再定式化し、そのための3D Volume Transformer(VolT)という名前の新しいフレームワークを提案します。仕事。別のデザインを使用する以前のCNNベースの方法とは異なり、単一のTransformerネットワークで特徴抽出とビューフュージョンを統合します。私たちの設計の自然な利点は、複数の順序付けられていない入力間の自己注意を使用して、ビュー間の関係を調査することにあります。大規模な3D再構成ベンチマークデータセットであるShapeNetで、私たちの方法は、他のCNNベースの方法よりも少ないパラメーター(70%少ない)でマルチビュー再構成の新しい最先端の精度を実現します。実験結果はまた、我々の方法の強力なスケーリング能力を示唆している。私たちのコードは一般に公開されます。
Deep CNN-based methods have so far achieved the state of the art results in multi-view 3D object reconstruction. Despite the considerable progress, the two core modules of these methods - multi-view feature extraction and fusion, are usually investigated separately, and the object relations in different views are rarely explored. In this paper, inspired by the recent great success in self-attention-based Transformer models, we reformulate the multi-view 3D reconstruction as a sequence-to-sequence prediction problem and propose a new framework named 3D Volume Transformer (VolT) for such a task. Unlike previous CNN-based methods using a separate design, we unify the feature extraction and view fusion in a single Transformer network. A natural advantage of our design lies in the exploration of view-to-view relationships using self-attention among multiple unordered inputs. On ShapeNet - a large-scale 3D reconstruction benchmark dataset, our method achieves a new state-of-the-art accuracy in multi-view reconstruction with fewer parameters (70% less) than other CNN-based methods. Experimental results also suggest the strong scaling capability of our method. Our code will be made publicly available.