arXiv reaDer
Talk2Nav: Long-Range Vision-and-Language Navigation with Dual Attention and Spatial Memory
 社会におけるロボットの役割は拡大を続けており、人間との対話とコミュニケーションの必要性をもたらしています。このような対話を直感的に保つために、音声によるナビゲーション指示に基づいた自動経路探索を提供しています。私たちの最初の貢献は、言語によるナビゲーション指示を含む大規模なデータセットの作成です。このため、Googleストリートビューに基づいたインタラクティブな視覚的ナビゲーション環境を開発しました。注釈付けメソッドをさらに設計して、採掘されたアンカーランドマークとそれらの間のローカル方向を強調表示し、アノテーターがそれらへの典型的な人間の参照を定式化できるようにします。アノテーションタスクは、AMTプラットフォームでクラウドソーシングされ、10,714ルートの新しいTalk2Navデータセットを構築しました。 2番目の貢献は、新しい学習方法です。ナビゲーション指示の精神的概念化に関する空間認知研究に触発され、セグメント化された言語指示で定義されたソフトデュアルアテンションメカニズムを導入して、2つの部分的な指示を共同で抽出します.1つは次の視覚的なランドマークに一致し、もう1つはローカル方向に一致します次のランドマークへ。同様の行で、空間方向の遷移をエンコードする空間メモリスキームも導入します。私たちの仕事は、2種類の研究の進歩を活用しています。言葉によるナビゲーション指示のメンタルな形式化と、自動経路探索のためのニューラルネットワークエージェントのトレーニングです。広範な実験により、本手法が従来のナビゲーション手法よりも大幅に優れていることが示されています。デモビデオ、データセット、およびコードについては、プロジェクトページを参照してください。
The role of robots in society keeps expanding, bringing with it the necessity of interacting and communicating with humans. In order to keep such interaction intuitive, we provide automatic wayfinding based on verbal navigational instructions. Our first contribution is the creation of a large-scale dataset with verbal navigation instructions. To this end, we have developed an interactive visual navigation environment based on Google Street View; we further design an annotation method to highlight mined anchor landmarks and local directions between them in order to help annotators formulate typical, human references to those. The annotation task was crowdsourced on the AMT platform, to construct a new Talk2Nav dataset with 10,714 routes. Our second contribution is a new learning method. Inspired by spatial cognition research on the mental conceptualization of navigational instructions, we introduce a soft dual attention mechanism defined over the segmented language instructions to jointly extract two partial instructions -- one for matching the next upcoming visual landmark and the other for matching the local directions to the next landmark. On the similar lines, we also introduce spatial memory scheme to encode the local directional transitions. Our work takes advantage of the advance in two lines of research: mental formalization of verbal navigational instructions and training neural network agents for automatic way finding. Extensive experiments show that our method significantly outperforms previous navigation methods. For demo video, dataset and code, please refer to our project page:
updated: Thu Oct 22 2020 12:03:18 GMT+0000 (UTC)
published: Fri Oct 04 2019 16:44:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト