暗いビデオでのアクション認識のタスクは、夜間の監視や夜間の自動運転など、さまざまなシナリオで役立ちます。通常の照明でのビデオのアクション認識タスクは進歩しましたが、暗闇でのアクション認識を研究した人はほとんどいません。これは、そのようなタスクに十分なデータセットが不足していることが一因です。この論文では、暗いビデオでのアクション認識のタスクを調査しました。新しいデータセットである暗闇の中での行動認識(ARID)データセットを収集することにより、このタスクのデータ不足のギャップを埋めます。 11のアクションカテゴリを持つ3,780以上のビデオクリップで構成されています。私たちの知る限り、これは暗いビデオでの人間の行動に焦点を当てた最初のデータセットです。 ARIDデータセットをさらに理解するために、ARIDデータセットを詳細に分析し、合成ダークビデオよりもその必要性を示しました。さらに、データセットでいくつかの現在のアクション認識モデルのパフォーマンスをベンチマークし、それらのパフォーマンスを向上させるための潜在的な方法を調査しました。私たちの結果は、現在のアクション認識モデルとフレーム強調方法は、暗いビデオでのアクション認識のタスクに対して効果的なソリューションではない可能性があることを示しています。
The task of action recognition in dark videos is useful in various scenarios, e.g., night surveillance and self-driving at night. Though progress has been made in the action recognition task for videos in normal illumination, few have studied action recognition in the dark. This is partly due to the lack of sufficient datasets for such a task. In this paper, we explored the task of action recognition in dark videos. We bridge the gap of the lack of data for this task by collecting a new dataset: the Action Recognition in the Dark (ARID) dataset. It consists of over 3,780 video clips with 11 action categories. To the best of our knowledge, it is the first dataset focused on human actions in dark videos. To gain further understandings of our ARID dataset, we analyze the ARID dataset in detail and exhibited its necessity over synthetic dark videos. Additionally, we benchmarked the performance of several current action recognition models on our dataset and explored potential methods for increasing their performances. Our results show that current action recognition models and frame enhancement methods may not be effective solutions for the task of action recognition in dark videos.