arXiv reaDer
MQA:ロボット操作による質問への回答
MQA: Answering the Question via Robotic Manipulation
この論文では、ロボットが特定の質問に答えるために環境を変更するための操作アクションを実行する、新しいタスクである操作質問応答(MQA)を提案します。この問題を解決するために、QAモジュールと操作モジュールで構成されるフレームワークが提案されています。 QAモジュールでは、視覚的質問応答(VQA)タスクの方法を採用しています。操作モジュールの場合、Deep Q Network(DQN)モデルは、ロボットが環境と対話するための操作アクションを生成するように設計されています。質問の答えが見つかるまで、ロボットがビン内のオブジェクトを継続的に操作している状況を考えます。さらに、シミュレーション環境では、さまざまなオブジェクトモデル、シナリオ、および対応する質問と回答のペアを含む新しいデータセットが確立されます。提案されたフレームワークの有効性を検証するために、広範な実験が実施されました。
In this paper, we propose a novel task, Manipulation Question Answering (MQA), where the robot performs manipulation actions to change the environment in order to answer a given question. To solve this problem, a framework consisting of a QA module and a manipulation module is proposed. For the QA module, we adopt the method for the Visual Question Answering (VQA) task. For the manipulation module, a Deep Q Network (DQN) model is designed to generate manipulation actions for the robot to interact with the environment. We consider the situation where the robot continuously manipulating objects inside a bin until the answer to the question is found. Besides, a novel dataset that contains a variety of object models, scenarios and corresponding question-answer pairs is established in a simulation environment. Extensive experiments have been conducted to validate the effectiveness of the proposed framework.
updated: Sun Jun 27 2021 13:44:50 GMT+0000 (UTC)
published: Tue Mar 10 2020 11:30:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト