オーディオ ストリームを組み込むことで、Video Saliency Prediction (VSP) が人間の脳の選択的注意メカニズムを模倣できるようになります。共同の聴覚と視覚情報の利点に焦点を当てることで、ほとんどの VSP メソッドは、視覚と聴覚モダリティの間のセマンティックな相関関係を利用できますが、オーディオビジュアル固有の時間的不一致による悪影響は無視されます。多感覚情報内の生物学的不一致修正に着想を得て、この研究では、一貫性を意識したオーディオビジュアル顕著性予測ネットワーク (CASP-Net) が提案され、オーディオビジュアルの意味的相互作用と一貫した知覚を包括的に考慮します。 .ビデオ フレームと対応する音源との間のエレガントな関連付けのための 2 ストリーム エンコーダーに加えて、一貫性を意識した新しい予測コーディングも、オーディオおよびビジュアル表現内の一貫性を繰り返し改善するように設計されています。マルチスケールのオーディオビジュアル情報をさらに集約するために、最終的な顕著性マップ生成のために顕著性デコーダーが導入されます。実質的な実験は、提案された CASP-Net が 6 つの挑戦的な視聴覚視線追跡データセットで他の最先端の方法よりも優れていることを示しています。システムのデモについては、プロジェクトの Web ページを参照してください。
Incorporating the audio stream enables Video Saliency Prediction (VSP) to imitate the selective attention mechanism of human brain. By focusing on the benefits of joint auditory and visual information, most VSP methods are capable of exploiting semantic correlation between vision and audio modalities but ignoring the negative effects due to the temporal inconsistency of audio-visual intrinsics. Inspired by the biological inconsistency-correction within multi-sensory information, in this study, a consistency-aware audio-visual saliency prediction network (CASP-Net) is proposed, which takes a comprehensive consideration of the audio-visual semantic interaction and consistent perception. In addition a two-stream encoder for elegant association between video frames and corresponding sound source, a novel consistency-aware predictive coding is also designed to improve the consistency within audio and visual representations iteratively. To further aggregate the multi-scale audio-visual information, a saliency decoder is introduced for the final saliency map generation. Substantial experiments demonstrate that the proposed CASP-Net outperforms the other state-of-the-art methods on six challenging audio-visual eye-tracking datasets. For a demo of our system please see our project webpage.