CVPR'2022 AQTCチャレンジの勝利：2段階の機能中心のアプローチ
Winning the CVPR'2022 AQTC Challenge: A Two-stage Function-centric Approach
エゴセントリックアシスタント（AQTC）のアフォーダンス中心の質問駆動型タスク完了は、AIアシスタントが説明ビデオやスクリプトから学習し、ユーザーを段階的にガイドするのに役立つ新しいタスクです。このホワイトペーパーでは、2段階の機能中心のアプローチでAQTCを扱います。これは、関連する機能で質問を接地するQuestion2Functionモジュールと、履歴ステップに基づいてアクションを予測するFunction2Answerモジュールで構成されます。各モジュールで考えられるいくつかのソリューションを評価し、特定のベースラインと比較して大幅な向上を実現しました。私たちのコードはhttps://github.com/starsholic/LOVEU-CVPR22-AQTCで入手できます。
Affordance-centric Question-driven Task Completion for Egocentric Assistant(AQTC) is a novel task which helps AI assistant learn from instructional videos and scripts and guide the user step-by-step. In this paper, we deal with the AQTC via a two-stage Function-centric approach, which consists of Question2Function Module to ground the question with the related function and Function2Answer Module to predict the action based on the historical steps. We evaluated several possible solutions in each module and obtained significant gains compared to the given baselines. Our code is available at https://github.com/starsholic/LOVEU-CVPR22-AQTC.
updated: Mon Jun 20 2022 07:02:23 GMT+0000 (UTC)
published: Mon Jun 20 2022 07:02:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト