arXiv reaDer
空中顕著性予測のためのモデルガイド付きマルチパス知識集約
Model-guided Multi-path Knowledge Aggregation for Aerial Saliency Prediction
ドローンは新たなビジョンプラットフォームとして、異常な視点から見ることができるため、ビデオの顕著性予測という従来のビジョンタスクに多くの新しい課題をもたらします。これらの課題を調査するために、このホワイトペーパーでは、24の被験者によって注釈が付けられた1,000本の空中動画のグラウンドトゥルース顕著オブジェクト領域で構成される、空中顕著度予測のための大規模なビデオデータセットを提案します。私たちの知る限りでは、ドローンの視覚的顕著性予測に焦点を当てた最初の大規模なビデオデータセットです。このデータセットに基づいて、空中ビデオ顕著性予測のベースラインモデルとして機能するモデル誘導マルチパスネットワーク(MM-Net)を提案します。アイトラッキング実験の注釈プロセスに触発されて、MM-Netは複数の情報経路を採用し、それぞれが古典的な顕著性モデルのガイダンスの下で初期化されます。その後、最も代表的なパスにエンコードされた視覚的顕著性知識が選択および集約され、空中シナリオでの空間的顕著性の予測におけるMM-Netの機能が向上します。最後に、これらの空間予測は、時空間最適化アルゴリズムを介して時間顕著性予測と適応的に結合されます。実験結果は、MM-Netが空中ビデオの顕著性の予測において10の最新モデルよりも優れていることを示しています。
As an emerging vision platform, a drone can look from many abnormal viewpoints which brings many new challenges into the classic vision task of video saliency prediction. To investigate these challenges, this paper proposes a large-scale video dataset for aerial saliency prediction, which consists of ground-truth salient object regions of 1,000 aerial videos, annotated by 24 subjects. To the best of our knowledge, it is the first large-scale video dataset that focuses on visual saliency prediction on drones. Based on this dataset, we propose a Model-guided Multi-path Network (MM-Net) that serves as a baseline model for aerial video saliency prediction. Inspired by the annotation process in eye-tracking experiments, MM-Net adopts multiple information paths, each of which is initialized under the guidance of a classic saliency model. After that, the visual saliency knowledge encoded in the most representative paths is selected and aggregated to improve the capability of MM-Net in predicting spatial saliency in aerial scenarios. Finally, these spatial predictions are adaptively combined with the temporal saliency predictions via a spatiotemporal optimization algorithm. Experimental results show that MM-Net outperforms ten state-of-the-art models in predicting aerial video saliency.
updated: Mon Jun 08 2020 06:53:48 GMT+0000 (UTC)
published: Wed Nov 14 2018 03:56:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト