arXiv reaDer
EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition
私たちは、自己中心的な行動認識のためのマルチモーダル融合に焦点を当て、マルチモーダル時間バインディング、つまり時間オフセットの範囲内のモダリティの組み合わせのための新しいアーキテクチャを提案します。 RGB、Flow、およびAudioの3つのモダリティでアーキテクチャをトレーニングし、それらを融合表現のスパースな時間サンプリングとともに中間レベルの融合と組み合わせます。これまでの作品とは対照的に、モダリティは時間的集約の前に融合され、時間とともに共有モダリティと融合の重みがあります。提案されたアーキテクチャは、エンドツーエンドでトレーニングされており、個々のモダリティおよびモダリティの晩期融合を凌formingしています。クラスごとに、アクションやインタラクションオブジェクトを識別するための、エゴセントリックビジョンにおけるオーディオの重要性を示します。私たちの方法は、最大のエゴセントリックデータセットであるEPIC-Kitchensの公開テストセットと非公開テストセットの両方で、パブリックリーダーボードを使用したすべてのメトリックで最先端の結果を達成します。
We focus on multi-modal fusion for egocentric action recognition, and propose a novel architecture for multi-modal temporal-binding, i.e. the combination of modalities within a range of temporal offsets. We train the architecture with three modalities -- RGB, Flow and Audio -- and combine them with mid-level fusion alongside sparse temporal sampling of fused representations. In contrast with previous works, modalities are fused before temporal aggregation, with shared modality and fusion weights over time. Our proposed architecture is trained end-to-end, outperforming individual modalities as well as late-fusion of modalities. We demonstrate the importance of audio in egocentric vision, on per-class basis, for identifying actions as well as interacting objects. Our method achieves state of the art results on both the seen and unseen test sets of the largest egocentric dataset: EPIC-Kitchens, on all metrics using the public leaderboard.
updated: Thu Aug 22 2019 17:07:04 GMT+0000 (UTC)
published: Thu Aug 22 2019 17:07:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト