「ワイヤーフレーム」は、私たちを取り巻く規則的な構造形状の人工シーンの大規模な視覚的特性をうまくキャプチャするように設計された線分ベースの表現です。ワイヤーフレームとは異なり、従来のエッジまたはラインセグメントは、すべての可視エッジおよびラインに焦点を合わせますが、それらのどれが人工の構造情報に対してより顕著であるかを特に区別することはありません。既存のワイヤーフレーム検出モデルは、注釈付きデータの監視に依存していますが、シーンの構造形状を構成する方法を理解するために明示的に注意を払っていません。さらに、背景シーンを遮る多くの前景オブジェクトが、背後のシーン構造全体の適切な推論を妨げることにしばしば直面します。これらの問題を解決するために、私たちは初めてこの分野で、画像上でマスクされた前景オブジェクト領域など、穴によって示されるオクルージョンを無視する方法をモデルが理解するのに役立つ新しい条件付きデータの生成とトレーニングを提案します。さらに、モデルで初めてGANを組み合わせて、大きな穴を超えても、モデルが基礎となるシーン構造をより適切に予測できるようにします。また、疑似ラベリングを導入して、モデルの容量をさらに拡大し、小規模なラベリングされたデータを克服します。私たちのアプローチは、穴を処理できない以前の作業を大幅に上回り、穴がない場合の通常の検出を改善することを定性的および定量的に示します。
"Wireframe" is a line segment based representation designed to well capture large-scale visual properties of regular, structural shaped man-made scenes surrounding us. Unlike the wireframes, conventional edges or line segments focus on all visible edges and lines without particularly distinguishing which of them are more salient to man-made structural information. Existing wireframe detection models rely on supervising the annotated data but do not explicitly pay attention to understand how to compose the structural shapes of the scene. In addition, we often face that many foreground objects occluding the background scene interfere with proper inference of the full scene structure behind them. To resolve these problems, we first time in the field, propose new conditional data generation and training that help the model understand how to ignore occlusion indicated by holes, such as foreground object regions masked out on the image. In addition, we first time combine GAN in the model to let the model better predict underlying scene structure even beyond large holes. We also introduce pseudo labeling to further enlarge the model capacity to overcome small-scale labeled data. We show qualitatively and quantitatively that our approach significantly outperforms previous works unable to handle holes, as well as improves ordinary detection without holes given.