マーカーレス モバイル拡張現実 (AR) は、特定の 2D または 3D オブジェクトを使用せずにデジタル コンテンツを物理世界に固定することを目的としています。絶対姿勢リグレッサー (APR) は、単一の単眼画像からデバイスの姿勢を推測するエンドツーエンドの機械学習ソリューションです。計算コストが低いため、モバイル AR デバイスの制約されたハードウェア上で直接実行できます。ただし、APR 手法は、トレーニング セットから遠すぎる入力画像に対して重大な不正確さをもたらす傾向があります。この論文では、APR の推論結果とトレーニング セット内の以前の画像を組み合わせることにより、最小限のオーバーヘッドで推定ポーズの信頼性を評価するパイプラインである KS-APR を紹介します。モバイル AR システムは、体験中のデバイスの相対姿勢を追跡するために視覚慣性オドメトリに依存する傾向があります。そのため、KS-APR は頻度よりも信頼性を優先し、信頼性の低いポーズを破棄します。このパイプラインは、ほとんどの既存の APR 手法を統合し、信頼性の低い画像を姿勢推定でフィルタリングすることで精度を向上させることができます。屋内および屋外のデータセットの 3 種類の APR モデルにパイプラインを実装します。位置と方向に関する中央誤差はすべてのモデルで減少し、データセット全体で大きな誤差の割合が最小限に抑えられます。私たちの方法により、DFNetdm などの最先端の APR が単一イメージおよびシーケンシャル APR 方法を上回るパフォーマンスを実現します。これらの結果は、ワンショットの決定を必要としない視覚的ローカリゼーション タスクに対する KS-APR の拡張性と有効性を示しています。
Markerless Mobile Augmented Reality (AR) aims to anchor digital content in the physical world without using specific 2D or 3D objects. Absolute Pose Regressors (APR) are end-to-end machine learning solutions that infer the device's pose from a single monocular image. Thanks to their low computation cost, they can be directly executed on the constrained hardware of mobile AR devices. However, APR methods tend to yield significant inaccuracies for input images that are too distant from the training set. This paper introduces KS-APR, a pipeline that assesses the reliability of an estimated pose with minimal overhead by combining the inference results of the APR and the prior images in the training set. Mobile AR systems tend to rely upon visual-inertial odometry to track the relative pose of the device during the experience. As such, KS-APR favours reliability over frequency, discarding unreliable poses. This pipeline can integrate most existing APR methods to improve accuracy by filtering unreliable images with their pose estimates. We implement the pipeline on three types of APR models on indoor and outdoor datasets. The median error on position and orientation is reduced for all models, and the proportion of large errors is minimized across datasets. Our method enables state-of-the-art APRs such as DFNetdm to outperform single-image and sequential APR methods. These results demonstrate the scalability and effectiveness of KS-APR for visual localization tasks that do not require one-shot decisions.