arXiv reaDer
Towards Automatic Annotation for Semantic Segmentation in Drone Videos
  セマンティックセグメンテーションは、ロボットのナビゲーションと安全性にとって重要なタスクです。ただし、正確な結果を得るには、大量のピクセル単位の注釈が必要です。コンピュータービジョンアルゴリズムの最近の進歩は、大規模な地上レベルデータセットによって大幅に後押しされていますが、主に大きなオブジェクトスケールとポーズのバリエーションによって課される困難により、ラベリング時間が低高度UAVアプリケーションの進歩を妨げています。大規模なビデオ航空データセットの不足に動機付けて、50フレームごとに高解像度(4K)画像と手動で注釈付けされた密集ラベルを備えた新しいデータセットを導入します。ビデオのラベリングプロセスを支援するために、自動注釈に向けて重要なステップを踏み、SegPropを提案します。これは、人間の注釈のないフレームにセマンティックラベルを伝播する幾何学的制約を持つ反復フローベースの方法です。これにより、5万以上の注釈付きフレームを備えたデータセットが作成されます。私たちの実験は、SegPropが現在の最先端のラベル伝播方法を大幅に上回ることを示しています。さらに、自動的に注釈が付けられたフレームを使用してセマンティックセグメンテーションディープニューラルネットをトレーニングすると、テスト時に手動ラベル付きフレームのみでトレーニングされたベースラインに対して平均16.8%の平均Fメジャーの魅力的な全体的なパフォーマンスブーストが得られます。 Ruralscapesデータセット、ラベル伝播コード、高速セグメンテーションツールは、から入手できます。
Semantic segmentation is a crucial task for robot navigation and safety. However, it requires huge amounts of pixelwise annotations to yield accurate results. While recent progress in computer vision algorithms has been heavily boosted by large ground-level datasets, the labeling time has hampered progress in low altitude UAV applications, mostly due to the difficulty imposed by large object scales and pose variations. Motivated by the lack of a large video aerial dataset, we introduce a new one, with high resolution (4K) images and manually-annotated dense labels every 50 frames. To help the video labeling process, we make an important step towards automatic annotation and propose SegProp, an iterative flow-based method with geometric constrains to propagate the semantic labels to frames that lack human annotations. This results in a dataset with more than 50k annotated frames - the largest of its kind, to the best of our knowledge. Our experiments show that SegProp surpasses current state-of-the-art label propagation methods by a significant margin. Furthermore, when training a semantic segmentation deep neural net using the automatically annotated frames, we obtain a compelling overall performance boost at test time of 16.8% mean F-measure over a baseline trained only with manually-labeled frames. Our Ruralscapes dataset, the label propagation code and a fast segmentation tool are available at our website:
updated: Tue Oct 22 2019 15:01:58 GMT+0000 (UTC)
published: Tue Oct 22 2019 15:01:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト