コンピュータビジョンの基本的な構成要素として、エッジは、表面の不連続性(反射率、照明、表面法線、または深さ)に応じて4つのタイプに分類できます。一般的なタイプまたは個々のタイプのエッジの検出は大幅に進歩しましたが、4つのエッジタイプすべてを一緒に包括的に調査することは未だ検討されていません。この論文では、4つのタイプのエッジすべてを共同で検出するための新しいニューラルネットワークソリューションであるRINDNetを提案します。 RINDNetは、各タイプのエッジの個別の属性とそれらの間の関係を考慮して、各エッジの効果的な表現を学習し、3つの段階で機能します。ステージIでは、RINDNetは共通のバックボーンを使用して、すべてのエッジで共有される特徴を抽出します。次に、ステージIIで分岐し、対応するデコーダーによって各エッジタイプの識別機能を準備します。ステージIIIでは、タイプごとに独立した意思決定責任者が前のステージの機能を集約して、初期結果を予測します。さらに、アテンションモジュールは、すべてのタイプのアテンションマップを学習して、それらの間の基本的な関係をキャプチャします。これらのマップは、初期結果と組み合わされて、最終的なエッジ検出結果を生成します。トレーニングと評価のために、最初の公開ベンチマークであるBSDS-RINDを作成し、4種類のエッジすべてに注意深く注釈を付けます。私たちの実験では、RINDNetは最先端の方法と比較して有望な結果をもたらします。追加の分析は補足資料に示されています。
As a fundamental building block in computer vision, edges can be categorised into four types according to the discontinuity in surface-Reflectance, Illumination, surface-Normal or Depth. While great progress has been made in detecting generic or individual types of edges, it remains under-explored to comprehensively study all four edge types together. In this paper, we propose a novel neural network solution, RINDNet, to jointly detect all four types of edges. Taking into consideration the distinct attributes of each type of edges and the relationship between them, RINDNet learns effective representations for each of them and works in three stages. In stage I, RINDNet uses a common backbone to extract features shared by all edges. Then in stage II it branches to prepare discriminative features for each edge type by the corresponding decoder. In stage III, an independent decision head for each type aggregates the features from previous stages to predict the initial results. Additionally, an attention module learns attention maps for all types to capture the underlying relations between them, and these maps are combined with initial results to generate the final edge detection results. For training and evaluation, we construct the first public benchmark, BSDS-RIND, with all four types of edges carefully annotated. In our experiments, RINDNet yields promising results in comparison with state-of-the-art methods. Additional analysis is presented in supplementary material.