最先端のアクティビティ認識機能は日中は有効ですが、暗闇では信頼できません。主な原因は、色のコントラストが低いことによる分布の変化と、ラベル付きの暗いビデオの利用が制限されていることです。私たちの目標は、日中だけでなく暗闇でも活動を認識することです。ラベル付けされたダーク ビデオの不足を補うために、疑似教師あり学習スキームを導入します。これは、タスクに関係のないラベル付けされていないダーク ビデオを利用してアクティビティ レコグナイザーをトレーニングします。私たちが提案する活動認識装置は、照明に不変な音声を利用します。ただし、オーディオとビジュアル機能の有用性は、照明によって異なります。したがって、視聴覚認識装置を「暗さを認識する」ようにすることを提案します。 EPIC-Kitchens、Kinetics-Sound、および Charades に関する実験は、私たちの提案が暗闇での効果的な活動認識を可能にし、オクルージョンに対する堅牢性を向上させることさえできることを示しています。
State-of-the-art activity recognizers are effective during the day, but not trustworthy in the dark. The main causes are the distribution shift from the lower color contrast as well as the limited availability of labeled dark videos. Our goal is to recognize activities in the dark as well as in the day. To compensate for the lack of labeled dark videos, we introduce a pseudo-supervised learning scheme, which utilizes task-irrelevant unlabeled dark videos to train an activity recognizer. Our proposed activity recognizer makes use of audio which is invariant to illumination. However, the usefulness of audio and visual features differs according to the illumination. Thus we propose to make our audio-visual recognizer `darkness-aware'. Experiments on EPIC-Kitchens, Kinetics-Sound, and Charades demonstrate that our proposals enable effective activity recognition in the dark and can even improve robustness to occlusions.