arXiv reaDer
Eye in the Sky:ドローンベースのオブジェクト追跡と3Dローカリゼーション
Eye in the Sky: Drone-Based Object Tracking and 3D Localization
  1台のカメラを搭載したドローン、または一般的なUAVは、航空写真、商品の迅速な配達、そして最も重要な監視などの幅広いアプリケーションに広く展開されています。コンピュータービジョンアルゴリズムでの大きな進歩にもかかわらず、これらのアルゴリズムは、オクルージョン、高速カメラモーション、ポーズバリエーションなどのさまざまな課題により、通常、ドローンによって取得された画像またはビデオシーケンスの処理に最適化されていません。この論文では、深層学習ベースのオブジェクト検出に基づいて、無人機ベースのマルチオブジェクト追跡および3D位置特定スキームを提案します。最初に、TrackletNet Tracker(TNT)と呼ばれるマルチオブジェクト追跡方法を組み合わせます。これは、時間情報と外観情報を使用して、UAVアプリケーションの地上にある検出されたオブジェクトを追跡します。次に、マルチビューステレオテクニックから推定されたグループプレーンに基づいて、追跡された地上オブジェクトをローカライズすることもできます。ドローンに配備されたシステムは、シーン内のオブジェクトを検出および追跡できるだけでなく、ドローンカメラに対してメートル単位で3D座標をローカライズすることもできます。この実験は、トラッカーがドローンによってキャプチャされた検出されたオブジェクトのほとんどを確実に処理し、最先端の方法と比較した場合に良好な3Dローカリゼーションパフォーマンスを達成できることを証明しています。
Drones, or general UAVs, equipped with a single camera have been widely deployed to a broad range of applications, such as aerial photography, fast goods delivery and most importantly, surveillance. Despite the great progress achieved in computer vision algorithms, these algorithms are not usually optimized for dealing with images or video sequences acquired by drones, due to various challenges such as occlusion, fast camera motion and pose variation. In this paper, a drone-based multi-object tracking and 3D localization scheme is proposed based on the deep learning based object detection. We first combine a multi-object tracking method called TrackletNet Tracker (TNT) which utilizes temporal and appearance information to track detected objects located on the ground for UAV applications. Then, we are also able to localize the tracked ground objects based on the group plane estimated from the Multi-View Stereo technique. The system deployed on the drone can not only detect and track the objects in a scene, but can also localize their 3D coordinates in meters with respect to the drone camera. The experiments have proved our tracker can reliably handle most of the detected objects captured by drones and achieve favorable 3D localization performance when compared with the state-of-the-art methods.
updated: Fri Oct 18 2019 04:44:44 GMT+0000 (UTC)
published: Fri Oct 18 2019 04:44:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト