arXiv reaDer
リアルタイム UAV 搭載カメラ画像処理のためのディープラーニング コンピューター ビジョン アルゴリズム
Deep Learning Computer Vision Algorithms for Real-time UAVs On-board Camera Image Processing
このホワイト ペーパーでは、高度なディープ ラーニング ベースのコンピューター ビジョン アルゴリズムを適用して、小型 UAV のリアルタイムのオンボード センサー処理を可能にする方法について説明します。 4 つのユース ケースが考慮されます: ターゲットの検出、分類とローカリゼーション、GNSS 拒否ゾーンでの自律ナビゲーションのための道路セグメンテーション、人体セグメンテーション、および人間の行動認識。すべてのアルゴリズムは、ディープ ニューラル ネットワークに基づく最先端の画像処理方法を使用して開発されています。マルチローター UAV の独特な視点が再現される、典型的な運用シナリオを反映したカスタム データセットを収集するために、獲得キャンペーンが実施されました。アルゴリズム アーキテクチャとトレーニング済みモデルのパフォーマンスが報告され、高いレベルの精度と推論速度が示されています。出力例と現場のビデオが提示され、カスタム クアッド ローターのボードに搭載された GPU 駆動の商用組み込みデバイス (NVIDIA Jetson Xavier) に展開されたモデルの動作が示され、高レベルの自律性を可能にする道が開かれます。
This paper describes how advanced deep learning based computer vision algorithms are applied to enable real-time on-board sensor processing for small UAVs. Four use cases are considered: target detection, classification and localization, road segmentation for autonomous navigation in GNSS-denied zones, human body segmentation, and human action recognition. All algorithms have been developed using state-of-the-art image processing methods based on deep neural networks. Acquisition campaigns have been carried out to collect custom datasets reflecting typical operational scenarios, where the peculiar point of view of a multi-rotor UAV is replicated. Algorithms architectures and trained models performances are reported, showing high levels of both accuracy and inference speed. Output examples and on-field videos are presented, demonstrating models operation when deployed on a GPU-powered commercial embedded device (NVIDIA Jetson Xavier) mounted on board of a custom quad-rotor, paving the way to enabling high level autonomy.
updated: Wed Nov 02 2022 11:10:42 GMT+0000 (UTC)
published: Wed Nov 02 2022 11:10:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト