arXiv reaDer
アブダクティブアクション推論
Abductive Action Inference
アブダクティブ推論は、特定の不完全な観察セットに対して最も可能性の高い推論を行うことを目的としています。この論文では、単一のスナップショットに示される特定の状態に到達するために人間がどのようなアクションを実行したかという問題に取り組む「アブダクティブアクション推論」として知られる新しい研究タスクを紹介します。この研究では、アクション セットの予測、アクション シーケンスの予測、アブダクティブ アクションの検証という 3 つの主要なアブダクティブ推論問題を調査します。これらの困難なタスクに取り組むために、トランスフォーマー、グラフ ニューラル ネットワーク、CLIP、BLIP、GPT3、エンドツーエンドでトレーニングされた Slow-Fast モデル、Resnet50-3D、ViT モデルなどの確立されたモデルを含むさまざまなモデルを調査します。さらに、この論文では、リレーショナル グラフ ニューラル ネットワーク、リレーショナル バイリニア プーリング モデル、リレーショナル ルールベースの推論モデル、リレーショナル GPT-3 プロンプト メソッド、リレーショナル Transformer モデルなど、アブダクティブ アクション推論用に調整されたいくつかの革新的なモデルを紹介します。特に、新しく提案されたオブジェクト リレーショナル双線形グラフ エンコーダ デコーダ (BiGED) モデルは、評価されたすべての方法の中で最も効果的であることが判明し、アクション ゲノム データセットの複雑な処理に優れていることを示しています。この研究の貢献は、人間の行動の意味を理解し、これらの行動の結果に関してもっともらしい推論を行う上で大きな進歩をもたらします。
Abductive reasoning aims to make the most likely inference for a given set of incomplete observations. In this paper, we introduce a novel research task known as "abductive action inference" which addresses the question of which actions were executed by a human to reach a specific state shown in a single snapshot. The research explores three key abductive inference problems: action set prediction, action sequence prediction, and abductive action verification. To tackle these challenging tasks, we investigate various models, including established ones such as Transformers, Graph Neural Networks, CLIP, BLIP, GPT3, end-to-end trained Slow-Fast, Resnet50-3D, and ViT models. Furthermore, the paper introduces several innovative models tailored for abductive action inference, including a relational graph neural network, a relational bilinear pooling model, a relational rule-based inference model, a relational GPT-3 prompt method, and a relational Transformer model. Notably, the newly proposed object-relational bilinear graph encoder-decoder (BiGED) model emerges as the most effective among all methods evaluated, demonstrating good proficiency in handling the intricacies of the Action Genome dataset. The contributions of this research offer significant progress toward comprehending the implications of human actions and making highly plausible inferences concerning the outcomes of these actions.
updated: Mon Aug 07 2023 11:29:26 GMT+0000 (UTC)
published: Mon Oct 24 2022 07:43:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト