ローカル機能は、さまざまな視覚タスクに対してコンパクトで不変の画像表現を提供します。現在の深層学習ベースの局所特徴アルゴリズムは、常に限られた受容野を持つ畳み込みニューラル ネットワーク (CNN) アーキテクチャを利用しています。また、高性能 GPU デバイスを使用しても、局所特徴量の計算効率は満足できるものではありません。この論文では、CNNベースの局所特徴アルゴリズムを提案することにより、このような問題に取り組みます。提案された方法は、グローバルな視覚的手がかりを軽量ネットワークに融合するグローバル拡張モジュールを導入し、ローカル機能マッチングタスクの観点から、新しい深層強化学習スキームによってネットワークを最適化します。公開ベンチマークでの実験は、提案が視覚的干渉に対してかなりの堅牢性を達成し、その間リアルタイムで実行できることを示しています。
Local feature provides compact and invariant image representation for various visual tasks. Current deep learning-based local feature algorithms always utilize convolution neural network (CNN) architecture with limited receptive field. Besides, even with high-performance GPU devices, the computational efficiency of local features cannot be satisfactory. In this paper, we tackle such problems by proposing a CNN-based local feature algorithm. The proposed method introduces a global enhancement module to fuse global visual clues in a light-weight network, and then optimizes the network by novel deep reinforcement learning scheme from the perspective of local feature matching task. Experiments on the public benchmarks demonstrate that the proposal can achieve considerable robustness against visual interference and meanwhile run in real time.