arXiv reaDer
Weakly-Supervised Completion Moment Detection using Temporal Attention
  完了に向けたアクションの進行を監視することにより、俳優の行動に対するきめ細かい洞察が得られます。この作業では、アクションの完了の瞬間、つまりアクションの目標が正常に達成された瞬間を検出することを目標としています。これには、監視から生活支援や人間とロボットの相互作用まで、潜在的な用途があります。以前の取り組みでは、トレーニングの完了時点の人間の注釈が必要でした(つまり、完全な監督)。この作業では、弱いビデオレベルラベルからの瞬間検出のアプローチを示します。同じアクションの完全なシーケンスと不完全なシーケンスの両方が与えられると、シーケンス内のすべてのフレームからの累積完了予測とともに、時間的注意を学習します。また、完了時点の監視が利用可能な場合に、このアプローチをどのように使用できるかを示します。 3つのデータセット、つまりHMDB、UCF101、RGBD-ACからのアクションに対するアプローチを評価および比較し、一時的な注意が弱監視および完全監視の両方の設定で検出を改善することを示します。
Monitoring the progression of an action towards completion offers fine grained insight into the actor's behaviour. In this work, we target detecting the completion moment of actions, that is the moment when the action's goal has been successfully accomplished. This has potential applications from surveillance to assistive living and human-robot interactions. Previous effort required human annotations of the completion moment for training (i.e. full supervision). In this work, we present an approach for moment detection from weak video-level labels. Given both complete and incomplete sequences, of the same action, we learn temporal attention, along with accumulated completion prediction from all frames in the sequence. We also demonstrate how the approach can be used when completion moment supervision is available. We evaluate and compare our approach on actions from three datasets, namely HMDB, UCF101 and RGBD-AC, and show that temporal attention improves detection in both weakly-supervised and fully-supervised settings.
updated: Tue Oct 22 2019 12:31:07 GMT+0000 (UTC)
published: Tue Oct 22 2019 12:31:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト