動的な360°没入型ビデオでの顕著な人間検出(SHD)は、ロボット工学、拡張現実での人間間および人間と物体の相互作用などのさまざまなアプリケーションにとって非常に重要です。ただし、大規模な全方向性ビデオと豊富な注釈を含むデータセットが不足しているため、360°ビデオSHDがコンピュータビジョンコミュニティで議論されることはめったにありません。この目的のために、さまざまな実際の日常シーンを含む最初の360°ビデオSHDデータセットであるSHD360を提案します。当社のSHD360は、4K解像度で37,403の全方向性ビデオフレームから均一にサンプリングされた6,268のキーフレームに6レベルの階層型注釈を提供します。具体的には、収集された各フレームは、スーパークラス、サブクラス、関連する属性(たとえば、幾何学的歪み)、境界ボックス、およびピクセルごとのオブジェクト/インスタンスレベルのマスクでラベル付けされます。その結果、SHD360には、手動で注釈が付けられたピクセル単位のグラウンドトゥルースを持つ合計16,238個の顕著な人間のインスタンスが含まれています。これまでのところ、360°画像/ビデオSHDに対して提案された方法はないため、SHD360で11の代表的な最先端の顕著な物体検出(SOD)アプローチを体系的にベンチマークし、広範な実験結果から導き出された重要な問題を調査します。提案されたデータセットとベンチマークが、360°パノラマデータに向けて人間中心の研究を進めるための良い出発点として役立つことを願っています。データセットとベンチマークは、https://github.com/PanoAsh/SHD360で公開されます。
Salient human detection (SHD) in dynamic 360° immersive videos is of great importance for various applications such as robotics, inter-human and human-object interaction in augmented reality. However, 360° video SHD has been seldom discussed in the computer vision community due to a lack of datasets with large-scale omnidirectional videos and rich annotations. To this end, we propose SHD360, the first 360° video SHD dataset which contains various real-life daily scenes. Our SHD360 provides six-level hierarchical annotations for 6,268 key frames uniformly sampled from 37,403 omnidirectional video frames at 4K resolution. Specifically, each collected frame is labeled with a super-class, a sub-class, associated attributes (e.g., geometrical distortion), bounding boxes and per-pixel object-/instance-level masks. As a result, our SHD360 contains totally 16,238 salient human instances with manually annotated pixel-wise ground truth. Since so far there is no method proposed for 360° image/video SHD, we systematically benchmark 11 representative state-of-the-art salient object detection (SOD) approaches on our SHD360, and explore key issues derived from extensive experimenting results. We hope our proposed dataset and benchmark could serve as a good starting point for advancing human-centric researches towards 360° panoramic data. Our dataset and benchmark will be publicly available at https://github.com/PanoAsh/SHD360.