この論文は、構造化再構成のための新しい注意ベースのニューラルネットワークを提示します。これは、2Dラスター画像を入力として受け取り、基礎となる幾何学的構造を表す平面グラフを再構成します。このアプローチでは、コーナーを検出し、エンドツーエンドの方法でコーナー間のエッジ候補を分類します。私たちの貢献は、全体的なエッジ分類アーキテクチャです。これは、1)エッジ候補の特徴を、そのエンドポイントの三角法による位置エンコーディングによって初期化します。 2)変形可能な注意によって画像の特徴を各エッジ候補に融合します。 3)2つの重み共有Transformerデコーダーを使用して、グラフエッジ候補全体の全体的な構造パターンを学習します。 4)マスクされた学習戦略で訓練されている。コーナー検出器は、エッジ分類アーキテクチャの変形であり、コーナー候補としてピクセルを操作するように適合されています。屋外の建物の建築と屋内のフロアプラン平面グラフの再構築という2つの構造化された再構築タスクについて実験を行います。広範な定性的および定量的評価は、最先端のアプローチに対する私たちのアプローチの優位性を示しています。コードとモデルを共有します。
This paper presents a novel attention-based neural network for structured reconstruction, which takes a 2D raster image as an input and reconstructs a planar graph depicting an underlying geometric structure. The approach detects corners and classifies edge candidates between corners in an end-to-end manner. Our contribution is a holistic edge classification architecture, which 1) initializes the feature of an edge candidate by a trigonometric positional encoding of its end-points; 2) fuses image feature to each edge candidate by deformable attention; 3) employs two weight-sharing Transformer decoders to learn holistic structural patterns over the graph edge candidates; and 4) is trained with a masked learning strategy. The corner detector is a variant of the edge classification architecture, adapted to operate on pixels as corner candidates. We conduct experiments on two structured reconstruction tasks: outdoor building architecture and indoor floorplan planar graph reconstruction. Extensive qualitative and quantitative evaluations demonstrate the superiority of our approach over the state of the art. We will share code and models.