ウェアラブルカメラの人気が高まっているため、一人称アクションの認識はますます研究されているトピックです。これにより、このコンテキストではまだ対処されていないクロスドメインの問題が明るみに出ています。確かに、学習された表現から抽出された情報は、固有の環境バイアスに苦しんでいます。これは、目に見えないシナリオに一般化する能力に強く影響し、トレーニング中にトリミングされたラベル付きデータが利用できない実際の設定での現在の方法の適用を制限します。この作業では、オーディオビジュアル信号の本質的な補完的性質を活用して、トレーニング中に見られるデータでうまく機能する表現を学習することを提案します。この目的のために、2 つのモダリティからの寄与を、それらの特徴ノルム表現の大きさに基づいて調整する視聴覚損失を導入します。最小限のマルチモーダル アクション認識アーキテクチャに接続されたこの新しい損失は、人気のある EPIC-Kitchens データセットでの広範な実験によって実証されているように、クロスドメインの一人称アクション認識で強力な結果をもたらします。
First person action recognition is an increasingly researched topic because of the growing popularity of wearable cameras. This is bringing to light cross-domain issues that are yet to be addressed in this context. Indeed, the information extracted from learned representations suffers from an intrinsic environmental bias. This strongly affects the ability to generalize to unseen scenarios, limiting the application of current methods in real settings where trimmed labeled data are not available during training. In this work, we propose to leverage over the intrinsic complementary nature of audio-visual signals to learn a representation that works well on data seen during training, while being able to generalize across different domains. To this end, we introduce an audio-visual loss that aligns the contributions from the two modalities by acting on the magnitude of their feature norm representations. This new loss, plugged into a minimal multi-modal action recognition architecture, leads to strong results in cross-domain first person action recognition, as demonstrated by extensive experiments on the popular EPIC-Kitchens dataset.