このホワイト ペーパーでは、高度なディープ ラーニング ベースのコンピューター ビジョン アルゴリズムを適用して、小型 UAV のリアルタイムのオンボード センサー処理を可能にする方法について説明します。 4 つのユース ケースが考慮されます: ターゲットの検出、分類とローカリゼーション、GNSS 拒否ゾーンでの自律ナビゲーションのための道路セグメンテーション、人体セグメンテーション、および人間の行動認識。すべてのアルゴリズムは、ディープ ニューラル ネットワークに基づく最先端の画像処理方法を使用して開発されています。マルチローター UAV の独特な視点が再現される、典型的な運用シナリオを反映したカスタム データセットを収集するために、獲得キャンペーンが実施されました。アルゴリズム アーキテクチャとトレーニング済みモデルのパフォーマンスが報告され、高いレベルの精度と推論速度が示されています。出力例と現場のビデオが提示され、カスタム クアッド ローターのボードに搭載された GPU 駆動の商用組み込みデバイス (NVIDIA Jetson Xavier) に展開されたモデルの動作が示され、高レベルの自律性を可能にする道が開かれます。
This paper describes how advanced deep learning based computer vision algorithms are applied to enable real-time on-board sensor processing for small UAVs. Four use cases are considered: target detection, classification and localization, road segmentation for autonomous navigation in GNSS-denied zones, human body segmentation, and human action recognition. All algorithms have been developed using state-of-the-art image processing methods based on deep neural networks. Acquisition campaigns have been carried out to collect custom datasets reflecting typical operational scenarios, where the peculiar point of view of a multi-rotor UAV is replicated. Algorithms architectures and trained models performances are reported, showing high levels of both accuracy and inference speed. Output examples and on-field videos are presented, demonstrating models operation when deployed on a GPU-powered commercial embedded device (NVIDIA Jetson Xavier) mounted on board of a custom quad-rotor, paving the way to enabling high level autonomy.