arXiv reaDer
LAGNet:人間の相互作用を理解するための論理認識グラフネットワーク
LAGNet: Logic-Aware Graph Network for Human Interaction Understanding
人間の活動の分類で行われた進歩と比較して、人間の相互作用の理解(HIU)で達成された成功ははるかに少ないです。後者のタスクははるかに困難ですが、主な原因は、最近のアプローチが浅いグラフィック表現を介して人間のインタラクティブな関係を学習することです。これは、複雑な人間の相互作用をモデル化するには不十分です。本論文では、人間の相互作用の理解を容易にするために、グラフ注意の代表的な能力と論理的推論の厳密さを組み合わせた、深い論理認識グラフネットワークを提案します。私たちのネットワークは、画像の特徴を抽出するバックボーンCNN、参加者間のインタラクティブな関係を学習するグラフネットワーク、およびロジック対応の推論モジュールの3つのコンポーネントで構成されています。私たちの重要な観察は、HIUの1次論理を高次エネルギー関数に埋め込んで、最小化することで論理を意識した予測を実現できることです。ネットワークのすべてのモジュールをエンドツーエンドの方法で共同でトレーニングできるように、効率的な平均場推論アルゴリズムが提案されています。実験結果は、私たちのアプローチが、3つの既存のベンチマークと私たち自身が作成した新しい挑戦的なデータセットで最高のパフォーマンスを達成することを示しています。コードはhttps://git.io/LAGNetで入手できます。
Compared with the progress made on human activity classification, much less success has been achieved on human interaction understanding (HIU). Apart from the latter task is much more challenging, the main cause is that recent approaches learn human interactive relations via shallow graphical representations, which is inadequate to model complicated human interactions. In this paper, we propose a deep logic-aware graph network, which combines the representative ability of graph attention and the rigorousness of logical reasoning to facilitate human interaction understanding. Our network consists of three components, a backbone CNN to extract image features, a graph network to learn interactive relations among participants, and a logic-aware reasoning module. Our key observation is that the first-order logic for HIU can be embedded into higher-order energy functions, minimizing which delivers logic-aware predictions. An efficient mean-field inference algorithm is proposed, such that all modules of our network could be trained jointly in an end-to-end way. Experimental results show that our approach achieves leading performance on three existing benchmarks and a new challenging dataset crafted by ourselves. Code is available at: https://git.io/LAGNet.
updated: Thu Nov 26 2020 08:20:21 GMT+0000 (UTC)
published: Fri Nov 20 2020 07:49:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト