機能追跡は、視覚オドメトリ、拡張現実、ターゲット追跡などの多くのアプリケーションの構成要素です。残念ながら、最先端の視覚ベースの追跡アルゴリズムは、そのような環境の性質によって課せられる課題のために、手術画像では失敗します。この論文では、特徴を確実に追跡する方法と、追跡目的でそのような信頼できる特徴を検出する方法を学ぶことができる、斬新で統一された深層学習ベースのアプローチを提案しました。 Deep-PTと呼ばれる提案されたネットワークは、深層学習の観点から相互相関をシミュレートする畳み込みニューラルネットワークであるトラッカーネットワークと、トラッカーの中間層の出力を操作して特徴を検出および予測する2つの完全に接続されたネットワークで構成されます。検出されたポイントの追跡可能性。トラッカーの機能に基づいて特徴を検出する機能は、提案された方法をこの領域で使用されていた以前のアルゴリズムと区別し、シーンのダイナミクスに対するアルゴリズムの堅牢性を向上させます。特徴追跡データセットに特化したデータセットがないため、ネットワークは複数のデータセットを使用してトレーニングされ、Deep-PTの精度を最近のピクセル追跡アルゴリズムと比較するために広範な比較が行われます。実験が示唆するように、提案されたディープアーキテクチャは、何を追跡するか、どのように追跡するかを意図的に学習し、最先端の方法を上回ります。
Feature tracking is the building block of many applications such as visual odometry, augmented reality, and target tracking. Unfortunately, the state-of-the-art vision-based tracking algorithms fail in surgical images due to the challenges imposed by the nature of such environments. In this paper, we proposed a novel and unified deep learning-based approach that can learn how to track features reliably as well as learn how to detect such reliable features for tracking purposes. The proposed network dubbed as Deep-PT, consists of a tracker network which is a convolutional neural network simulating cross-correlation in terms of deep learning and two fully connected networks that operate on the output of intermediate layers of the tracker to detect features and predict trackability of the detected points. The ability to detect features based on the capabilities of the tracker distinguishes the proposed method from previous algorithms used in this area and improves the robustness of the algorithms against dynamics of the scene. The network is trained using multiple datasets due to the lack of specialized dataset for feature tracking datasets and extensive comparisons are conducted to compare the accuracy of Deep-PT against recent pixel tracking algorithms. As the experiments suggest, the proposed deep architecture deliberately learns what to track and how to track and outperforms the state-of-the-art methods.