この作業では、単一のフォワードパスを使用してさまざまなセンサーによって取得された画像内の特徴点の共同検出とマッチングのための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案します。結果として得られる特徴検出器は、検出フェーズが記述子の計算に先行し、異なる従来のアプローチ(SIFTなど)とは対照的に、特徴記述子と緊密に結合されます。私たちのアプローチは、2つのCNNサブネットワークを利用します。1つはシャムCNNで、もう1つは二重の非重み共有CNNで構成されます。これにより、マルチモーダル画像パッチのジョイントキューとディスジョイントキューの同時処理と融合が可能になります。提案されたアプローチは、マルチモーダル画像の複数のデータセットに適用された場合、現代の最先端のスキームよりも優れていることが実験的に示されています。また、マルチセンサー画像全体で再現可能な特徴点検出を提供し、最先端の検出器よりも優れていることも示されています。私たちの知る限り、これはそのような画像の検出と照合のための最初の統一されたアプローチです。
In this work, we propose a novel Convolutional Neural Network (CNN) architecture for the joint detection and matching of feature points in images acquired by different sensors using a single forward pass. The resulting feature detector is tightly coupled with the feature descriptor, in contrast to classical approaches (SIFT, etc.), where the detection phase precedes and differs from computing the descriptor. Our approach utilizes two CNN subnetworks, the first being a Siamese CNN and the second, consisting of dual non-weight-sharing CNNs. This allows simultaneous processing and fusion of the joint and disjoint cues in the multimodal image patches. The proposed approach is experimentally shown to outperform contemporary state-of-the-art schemes when applied to multiple datasets of multimodal images. It is also shown to provide repeatable feature points detections across multisensor images, outperforming state-of-the-art detectors. To the best of our knowledge, it is the first unified approach for the detection and matching of such images.