このペーパーでは、拡張現実 (AR) 環境で機械学習 (ML) を使用したリアルタイムの物体検出のためのソフトウェア アーキテクチャを紹介します。私たちのアプローチでは、Microsoft HoloLens 2 ヘッドマウント ディスプレイ (HMD) 上で実行される最新の YOLOv8 ネットワークを使用します。この研究の背後にある主な動機は、ウェアラブルなハンズフリー AR プラットフォームで知覚と状況認識を強化するための高度な ML モデルの適用を可能にすることです。 YOLOv8 モデルの画像処理パイプラインと、ヘッドセットのリソースが限られたエッジ コンピューティング プラットフォーム上でそれをリアルタイムにするために使用される手法を示します。実験結果は、当社のソリューションが、クラウドやその他の外部サーバーにタスクをオフロードする必要がなく、通常の mAP メトリクスと測定された定性的パフォーマンスに関して十分な精度を維持しながら、リアルタイム処理を実現できることを示しています。
This paper introduces a software architecture for real-time object detection using machine learning (ML) in an augmented reality (AR) environment. Our approach uses the recent state-of-the-art YOLOv8 network that runs onboard on the Microsoft HoloLens 2 head-mounted display (HMD). The primary motivation behind this research is to enable the application of advanced ML models for enhanced perception and situational awareness with a wearable, hands-free AR platform. We show the image processing pipeline for the YOLOv8 model and the techniques used to make it real-time on the resource-limited edge computing platform of the headset. The experimental results demonstrate that our solution achieves real-time processing without needing offloading tasks to the cloud or any other external servers while retaining satisfactory accuracy regarding the usual mAP metric and measured qualitative performance