本論文では、屋外の建物を単一のRGB画像から平面グラフとして再構築する、新しいメッセージパッシングニューラル(MPN)アーキテクチャConv-MPNを提案します。 Conv-MPNは、グラフのノードに明示的な空間埋め込みがある場合に特に設計されています。この問題では、ノードは画像内の建物の端に対応しています。 Conv-MPNはMPNとは異なり、1)ノードに関連付けられたフィーチャは1Dベクトルではなくフィーチャボリュームとして表されます。 2)畳み込みは、完全に接続されたレイヤーの代わりにメッセージをエンコードします。 Conv-MPNは、ノードの真のサブセット(つまり、構築エッジ)を選択して、構築平面グラフを再構築することを学習します。 2,000を超える建物の定性的および定量的評価は、Conv-MPNが既存の完全なニューラルソリューションを大幅に改善することを示しています。この論文は、構造化されたジオメトリの再構築のためのグラフニューラルネットワーク研究の新しいラインを開く可能性があると考えています。
This paper proposes a novel message passing neural (MPN) architecture Conv-MPN, which reconstructs an outdoor building as a planar graph from a single RGB image. Conv-MPN is specifically designed for cases where nodes of a graph have explicit spatial embedding. In our problem, nodes correspond to building edges in an image. Conv-MPN is different from MPN in that 1) the feature associated with a node is represented as a feature volume instead of a 1D vector; and 2) convolutions encode messages instead of fully connected layers. Conv-MPN learns to select a true subset of nodes (i.e., building edges) to reconstruct a building planar graph. Our qualitative and quantitative evaluations over 2,000 buildings show that Conv-MPN makes significant improvements over the existing fully neural solutions. We believe that the paper has a potential to open a new line of graph neural network research for structured geometry reconstruction.