画像内の消失点を検出するためのジオメトリにヒントを得た畳み込み演算子を備えた、シンプルでありながら効果的なエンドツーエンドのトレーニング可能なディープネットワークを提供します。従来の畳み込みニューラルネットワークは、エッジフィーチャーの集約に依存しており、消失点の幾何学的特性を平行線の交点として直接活用するメカニズムがありません。この作業では、ニューラルネットワークが消失点のグローバルジオメトリ情報をローカルで効果的に計算できる正準コニック空間を特定し、この空間で通常のコンボリューションとして実装できるコニックコンボリューションという名前の新しい演算子を提案します。この新しい演算子は、構造線に沿って特徴の抽出と集約を明示的に実施しますが、通常の2D畳み込みと同じ数のパラメーターを持ちます。合成データセットと実際のデータセットの両方に関する広範な実験により、提案された演算子が従来の方法よりも消失点検出のパフォーマンスを大幅に改善することが示されています。コードとデータセットは、https://github.com/zhou13/neurvpsで公開されています。
We present a simple yet effective end-to-end trainable deep network with geometry-inspired convolutional operators for detecting vanishing points in images. Traditional convolutional neural networks rely on aggregating edge features and do not have mechanisms to directly exploit the geometric properties of vanishing points as the intersections of parallel lines. In this work, we identify a canonical conic space in which the neural network can effectively compute the global geometric information of vanishing points locally, and we propose a novel operator named conic convolution that can be implemented as regular convolutions in this space. This new operator explicitly enforces feature extractions and aggregations along the structural lines and yet has the same number of parameters as the regular 2D convolution. Our extensive experiments on both synthetic and real-world datasets show that the proposed operator significantly improves the performance of vanishing point detection over traditional methods. The code and dataset have been made publicly available at https://github.com/zhou13/neurvps.