CNNによる正確な深度予測の機能は、強化されたカメラ追跡や高密度マッピングなどの実用的なビジュアルSLAMアプリケーションで広く使用するための主要な課題です。このホワイトペーパーは、次の質問に答えることを目的としています。SLAMのパフォーマンスを向上させるために、CNNが現在の動作環境用にトレーニングされていない場合でも、視覚的なSLAMアルゴリズムを使用して深度予測CNNを調整できますか?この目的のために、2つの補完的なプロセスで構成される新しいオンライン適応フレームワークを提案します。1つはキーフレームを生成して深度予測を微調整するために使用されるSLAMアルゴリズム、もう1つはオンライン適応深度を使用してマップの品質を向上させるアルゴリズムです。ノイズの多いマップポイントが削除されたら、グローバル測光バンドル調整(BA)を実行して、全体的なSLAMパフォーマンスを向上させます。ベンチマークデータセットと私たち自身の実験環境での実際のロボットの両方での実験結果は、提案された方法がSLAM再構成の精度を改善することを示しています。壊滅的な忘却を防ぐための効果的な手段として、トレーニング損失における正則化の使用を示します。さらに、オンライン適応フレームワークを最新の事前トレーニング済み深度予測CNNと比較して、オンライン適応深度予測CNNが、データセットの大規模なコレクションでトレーニングされた深度予測CNNよりも優れていることを示します。
The ability of accurate depth prediction by a CNN is a major challenge for its wide use in practical visual SLAM applications, such as enhanced camera tracking and dense mapping. This paper is set out to answer the following question: Can we tune a depth prediction CNN with the help of a visual SLAM algorithm even if the CNN is not trained for the current operating environment in order to benefit the SLAM performance? To this end, we propose a novel online adaptation framework consisting of two complementary processes: a SLAM algorithm that is used to generate keyframes to fine-tune the depth prediction and another algorithm that uses the online adapted depth to improve map quality. Once the potential noisy map points are removed, we perform global photometric bundle adjustment (BA) to improve the overall SLAM performance. Experimental results on both benchmark datasets and a real robot in our own experimental environments show that our proposed method improves the SLAM reconstruction accuracy. We demonstrate the use of regularization in the training loss as an effective means to prevent catastrophic forgetting. In addition, we compare our online adaptation framework against the state-of-the-art pre-trained depth prediction CNNs to show that our online adapted depth prediction CNN outperforms the depth prediction CNNs that have been trained on a large collection of datasets.