人間の行動認識は、研究と応用の重要性のために、近年多くの注目を集めています。アクション認識に関する既存の作品のほとんどは、ビデオから効果的な時空間的特徴を学習することに焦点を当てていますが、前提条件、アクション、および効果の間の強い因果関係を無視しています。このような関係は、行動認識の正確さにとっても重要です。本論文では、行動認識のパフォーマンスを改善するために、前提条件と効果に基づいて因果関係をモデル化することを提案します。具体的には、行動認識の因果関係を捉えるために、サイクル推論モデルが提案されています。この目的のために、大規模なアクションデータセットの前提条件と効果に注釈を付けます。実験結果は、提案されたサイクル推論モデルが前提条件と効果について効果的に推論でき、行動認識性能を向上させることができることを示しています。
Human action recognition has drawn a lot of attention in the recent years due to the research and application significance. Most existing works on action recognition focus on learning effective spatial-temporal features from videos, but neglect the strong causal relationship among the precondition, action and effect. Such relationships are also crucial to the accuracy of action recognition. In this paper, we propose to model the causal relationships based on the precondition and effect to improve the performance of action recognition. Specifically, a Cycle-Reasoning model is proposed to capture the causal relationships for action recognition. To this end, we annotate precondition and effect for a large-scale action dataset. Experimental results show that the proposed Cycle-Reasoning model can effectively reason about the precondition and effect and can enhance action recognition performance.