arXiv reaDer
MQA:ロボット操作による質問への回答
MQA: Answering the Question via Robotic Manipulation
この論文では、ロボットが操作によって環境を積極的に探索することによって質問に対する答えを見つける必要がある、新しいタスクである操作質問応答(MQA)を提案します。この問題を解決するために、QAモデルと操作モデルからなるフレームワークが提案されています。 QAモデルには、視覚的質問応答(VQA)の方法を採用しています。操作モデルについては、操作を生成するためにDeep Q Network(DQN)モデルが提案されています。オブジェクトを操作することにより、ロボットは質問への答えが見つかるまでビンを継続的に探索できます。さらに、さまざまなオブジェクトモデル、複雑なシナリオ、および対応する質問と回答のペアを含むシミュレーション用の新しいデータセットが確立されます。提案されたフレームワークの有効性を検証するために、広範な実験が実施されました。
In this paper, we propose a novel task -- Manipulation Question Answering (MQA), where the robot is required to find the answer to the question by actively exploring the environment via manipulation. A framework consisting of a QA model and a manipulation model is proposed to solve this problem. For the QA model, we adopt the method of Visual Question Answering (VQA). For the manipulation model, a Deep Q Network (DQN) model is proposed to generate manipulations. By manipulating objects, the robot can continuously explore the bin until the answer to the question is found. Besides, a novel dataset for simulation that contains a variety of object models, complicated scenarios and corresponding question-answer pairs is established. Extensive experiments have been conducted to validate the effectiveness of the proposed framework.
updated: Sat Dec 12 2020 08:46:48 GMT+0000 (UTC)
published: Tue Mar 10 2020 11:30:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト