無人航空機 (UAV) 画像用のコンピューター ビジョン アルゴリズムの開発は、注釈付きの高解像度航空データの利用可能性に大きく依存しています。しかし、既存のデータセット内の画像の数が限られているため、大量のトレーニング データを必要とする深層学習モデルの有効性が妨げられるため、ピクセル レベルのアノテーションを備えた大規模な実際のデータセットが不足していることが研究者にとって大きな課題となっています。この論文では、これらの制限に対処するために、複数の飛行高さで撮影された画像と 3D データの両方を含むマルチモーダル合成データセットを提案します。オブジェクト レベルの注釈に加えて、提供されるデータには 28 クラスのピクセル レベルのラベル付けも含まれており、セマンティック セグメンテーションなどのタスクにおける潜在的な利点を探ることができます。私たちのデータセットには合計 72,000 個のラベル付きサンプルが含まれており、これにより、合成から現実への適応において有望な結果を示すディープ アーキテクチャの効果的なトレーニングが可能になります。このデータセットは、UAV アプリケーションを対象とした新しいコンピューター ビジョン手法の開発をサポートするために一般公開されます。
The development of computer vision algorithms for Unmanned Aerial Vehicles (UAVs) imagery heavily relies on the availability of annotated high-resolution aerial data. However, the scarcity of large-scale real datasets with pixel-level annotations poses a significant challenge to researchers as the limited number of images in existing datasets hinders the effectiveness of deep learning models that require a large amount of training data. In this paper, we propose a multimodal synthetic dataset containing both images and 3D data taken at multiple flying heights to address these limitations. In addition to object-level annotations, the provided data also include pixel-level labeling in 28 classes, enabling exploration of the potential advantages in tasks like semantic segmentation. In total, our dataset contains 72k labeled samples that allow for effective training of deep architectures showing promising results in synthetic-to-real adaptation. The dataset will be made publicly available to support the development of novel computer vision methods targeting UAV applications.