arXiv reaDer
EPIC-KITCHENS-100アクション認識のための教師なしドメイン適応チャレンジ2021:チームM3EMテクニカルレポート
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
このレポートでは、アクション認識のための2021EPIC-KITCHENS-100教師なしドメイン適応チャレンジへの提出の技術的な詳細について説明します。複数のモダリティを活用することは、教師なしドメイン適応(UDA)タスクに役立つことが証明されています。この作業では、マルチモーダル相互拡張モジュール(M3EM)を紹介します。これは、複数のモダリティからの情報を共同で検討して、ドメイン間で最も転送可能な表現を見つけるための詳細なモジュールです。これは、他のモダリティのコンテキストを使用して各モダリティを強化するための2つのサブモジュールを実装することで実現します。最初のサブモジュールは、セマンティック空間を介してモダリティ間で情報を交換し、2番目のサブモジュールは、すべてのモダリティのコンセンサスに基づいて、最も転送可能な空間領域を見つけます。
In this report, we describe the technical details of our submission to the 2021 EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition. Leveraging multiple modalities has been proved to benefit the Unsupervised Domain Adaptation (UDA) task. In this work, we present Multi-Modal Mutual Enhancement Module (M3EM), a deep module for jointly considering information from multiple modalities to find the most transferable representations across domains. We achieve this by implementing two sub-modules for enhancing each modality using the context of other modalities. The first sub-module exchanges information across modalities through the semantic space, while the second sub-module finds the most transferable spatial region based on the consensus of all modalities.
updated: Thu Jul 01 2021 02:56:46 GMT+0000 (UTC)
published: Fri Jun 18 2021 10:03:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト