arXiv reaDer
野生での堅牢なドローン ビジョンに向けて
Towards Robust Drone Vision in the Wild
ここ数年、コンピューター ビジョンが重要な役割を果たすドローン ベースのアプリケーションが急増しています。ただし、ほとんどの公開されているドローン ベースのビジョン データセットは、検出と追跡に重点を置いています。一方、ほとんどの既存の画像超解像手法のパフォーマンスは、データセット、特に高解像度画像と低解像度画像の間の劣化モデルに敏感です。この論文では、ドローン ビジョン用の最初の画像超解像データセットを提案します。画像のペアは、焦点距離が異なるドローンの 2 台のカメラによってキャプチャされます。さまざまな高度でデータを収集し、画像ペアを整列させるための前処理手順を提案します。さまざまな高度でキャプチャされた画像間にドメインギャップが存在することは、広範な実証研究によって示されています。一方、事前トレーニング済みの画像超解像ネットワークのパフォーマンスも、データセットで低下し、高度によって異なります。最後に、異なる高度で堅牢な画像超解像ネットワークを構築する 2 つの方法を提案します。 1 つ目は、高度を認識するレイヤーを介してネットワークに高度情報をフィードします。 2 つ目は、ワンショット学習を使用して、超解像度モデルを未知の高度にすばやく適応させます。私たちの結果は、提案された方法がさまざまな高度での超解像ネットワークのパフォーマンスを効率的に改善できることを明らかにしています。
The past few years have witnessed the burst of drone-based applications where computer vision plays an essential role. However, most public drone-based vision datasets focus on detection and tracking. On the other hand, the performance of most existing image super-resolution methods is sensitive to the dataset, specifically, the degradation model between high-resolution and low-resolution images. In this thesis, we propose the first image super-resolution dataset for drone vision. Image pairs are captured by two cameras on the drone with different focal lengths. We collect data at different altitudes and then propose pre-processing steps to align image pairs. Extensive empirical studies show domain gaps exist among images captured at different altitudes. Meanwhile, the performance of pretrained image super-resolution networks also suffers a drop on our dataset and varies among altitudes. Finally, we propose two methods to build a robust image super-resolution network at different altitudes. The first feeds altitude information into the network through altitude-aware layers. The second uses one-shot learning to quickly adapt the super-resolution model to unknown altitudes. Our results reveal that the proposed methods can efficiently improve the performance of super-resolution networks at varying altitudes.
updated: Sun Aug 21 2022 18:19:19 GMT+0000 (UTC)
published: Sun Aug 21 2022 18:19:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト