テスト時間適応のための時間的整合性 (TempT) を紹介します。これは、自己監視信号として連続するフレーム全体の予測の時間的コヒーレンスを使用することにより、ビデオのテスト時間適応のための新しい方法です。 TempT は、ビデオの表情認識 (FER) を含む、コンピューター ビジョン タスクで幅広い潜在的な用途を持つアプローチです。 AffWild2 データセットで TempT のパフォーマンスを評価します。私たちのアプローチは、データの単一モードの視覚的側面のみに焦点を当て、他のアプローチで使用されるより大きなシーケンシャルまたは注意ベースのモデルとは対照的に、一般的な 2D CNN バックボーンを利用します。私たちの予備的な実験結果は、TempT が過去数年間に報告されたパフォーマンスと比較して競争力のあるパフォーマンスを持っていることを示しており、その有効性は、さまざまな実世界のアプリケーションでの使用に説得力のある概念実証を提供します。
We introduce Temporal consistency for Test-time adaptation (TempT) a novel method for test-time adaptation on videos through the use of temporal coherence of predictions across sequential frames as a self-supervision signal. TempT is an approach with broad potential applications in computer vision tasks including facial expression recognition (FER) in videos. We evaluate TempT performance on the AffWild2 dataset. Our approach focuses solely on the unimodal visual aspect of the data and utilizes a popular 2D CNN backbone in contrast to larger sequential or attention-based models used in other approaches. Our preliminary experimental results demonstrate that TempT has competitive performance compared to the previous years reported performances and its efficacy provides a compelling proof-of-concept for its use in various real-world applications.