arXiv reaDer
StillFast: 短期的なオブジェクトの相互作用予測のためのエンドツーエンドのアプローチ
StillFast: An End-to-End Approach for Short-Term Object Interaction Anticipation
予測問題は、人間の位置の予測、手や物体の軌道の予測、行動や人間と物体の相互作用の予測など、さまざまな側面を考慮して研究されてきました。この論文では、StillFast という名前の新しいエンド ツー エンド アーキテクチャを提案して、自己中心的な観点から短期オブジェクト相互作用予測問題を研究しました。私たちのアプローチは、静止画像とビデオを同時に処理し、次にアクティブなオブジェクトを検出してローカライズし、将来の相互作用を説明する動詞を予測し、相互作用がいつ開始されるかを判断します。大規模な自己中心的なデータセット EGO4D での実験は、我々の方法が考慮されたタスクで最先端のアプローチよりも優れていることを示しています。私たちの方法は、EGO4D 短期オブジェクト相互作用予測チャレンジ 2022 の公開リーダーボードで第 1 位にランクされています。コードと追加の詳細については、プロジェクトの Web ページを参照してください: https://iplab.dmi.unict.it/stillfast/.
Anticipation problem has been studied considering different aspects such as predicting humans' locations, predicting hands and objects trajectories, and forecasting actions and human-object interactions. In this paper, we studied the short-term object interaction anticipation problem from the egocentric point of view, proposing a new end-to-end architecture named StillFast. Our approach simultaneously processes a still image and a video detecting and localizing next-active objects, predicting the verb which describes the future interaction and determining when the interaction will start. Experiments on the large-scale egocentric dataset EGO4D show that our method outperformed state-of-the-art approaches on the considered task. Our method is ranked first in the public leaderboard of the EGO4D short term object interaction anticipation challenge 2022. Please see the project web page for code and additional details: https://iplab.dmi.unict.it/stillfast/.
updated: Sat Apr 08 2023 09:01:37 GMT+0000 (UTC)
published: Sat Apr 08 2023 09:01:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト