この論文では、トランスフォーマー上に構築されたニューラルネットワーク、つまりPlaneTRを紹介し、単一の画像から平面を同時に検出して再構築します。以前の方法とは異なり、PlaneTRは、コンテキスト情報と幾何学的構造をシーケンスごとの方法で共同で活用して、1回のフォワードパスでプレーンインスタンスを全体的に検出します。具体的には、幾何学的構造を線分として表し、(i)コンテキストおよび線分エンコーダー、(ii)構造誘導平面デコーダー、(iii)ピクセル単位の平面埋め込みデコーダーの3つの主要コンポーネントでネットワークを実行します。画像とその検出された線分が与えられると、PlaneTRは2つの特別に設計されたエンコーダーを介してコンテキストと線分シーケンスを生成し、それらをトランスフォーマーベースのデコーダーにフィードして、コンテキストとグローバル構造の手がかりを同時に考慮して、平面インスタンスのシーケンスを直接予測します。最後に、ピクセル単位の埋め込みが計算され、埋め込み空間で最も近い1つの予測平面インスタンスに各ピクセルが割り当てられます。包括的な実験は、PlaneTRがScanNetおよびNYUv2データセットで最先端のパフォーマンスを達成することを示しています。
This paper presents a neural network built upon Transformers, namely PlaneTR, to simultaneously detect and reconstruct planes from a single image. Different from previous methods, PlaneTR jointly leverages the context information and the geometric structures in a sequence-to-sequence way to holistically detect plane instances in one forward pass. Specifically, we represent the geometric structures as line segments and conduct the network with three main components: (i) context and line segments encoders, (ii) a structure-guided plane decoder, (iii) a pixel-wise plane embedding decoder. Given an image and its detected line segments, PlaneTR generates the context and line segment sequences via two specially designed encoders and then feeds them into a Transformers-based decoder to directly predict a sequence of plane instances by simultaneously considering the context and global structure cues. Finally, the pixel-wise embeddings are computed to assign each pixel to one predicted plane instance which is nearest to it in embedding space. Comprehensive experiments demonstrate that PlaneTR achieves a state-of-the-art performance on the ScanNet and NYUv2 datasets.