時空間行動検出のためのデータの収集と注釈付けは非常に費用がかかるため、より少ない監督でアプローチを学ぶ必要があります。弱教師ありアプローチは、境界ボックスの注釈を必要とせず、アクションがビデオクリップで発生するかどうかを示すラベルからのみトレーニングできます。ただし、現在のアプローチでは、ビデオ内に複数のアクションを同時に実行する人物が複数いる場合は処理できません。この作業では、この非常に困難なタスクに初めて対処します。マルチインスタンスおよびマルチラベル学習に基づくベースラインを提案します。さらに、個々のアクションクラスをモデル化する代わりに、アクションのセットを表現として使用する新しいアプローチを提案します。計算では、アクションクラスの数が増えると、フルパワーセットの確率が扱いにくくなるため、割り当てがビデオクリップの注釈と一致するという制約の下で、検出された各人物にアクションセットを割り当てます。提案されたアプローチがMIMLベースラインを上回り、完全に監視されたアプローチと競合する、挑戦的なAVAデータセットで提案されたアプローチを評価します。
Since collecting and annotating data for spatio-temporal action detection is very expensive, there is a need to learn approaches with less supervision. Weakly supervised approaches do not require any bounding box annotations and can be trained only from labels that indicate whether an action occurs in a video clip. Current approaches, however, cannot handle the case when there are multiple persons in a video that perform multiple actions at the same time. In this work, we address this very challenging task for the first time. We propose a baseline based on multi-instance and multi-label learning. Furthermore, we propose a novel approach that uses sets of actions as representation instead of modeling individual action classes. Since computing, the probabilities for the full power set becomes intractable as the number of action classes increases, we assign an action set to each detected person under the constraint that the assignment is consistent with the annotation of the video clip. We evaluate the proposed approach on the challenging AVA dataset where the proposed approach outperforms the MIML baseline and is competitive to fully supervised approaches.