視聴覚ナビゲーションは、視覚と聴覚を組み合わせて、マッピングされていない環境で音源にナビゲートします。最近のアプローチは、目標を検出して見つけるためのオーディオ入力の利点を示していますが、クリーンで静的な音源に焦点を当てており、聞いたことのない音に一般化するのに苦労しています。この作業では、ノイズが多く気が散る音のある環境で動く音源をキャッチする必要がある、新しい動的オーディオビジュアルナビゲーションベンチマークを提案します。これらの複雑な設定に対する堅牢なナビゲーションポリシーを学習する強化学習アプローチを紹介します。これを実現するために、空間特徴空間の視聴覚情報を融合して、ローカルマップとオーディオ信号の両方に固有の幾何学的情報の相関関係を学習するアーキテクチャを提案します。私たちのアプローチは、2つの挑戦的な3Dスキャンされた現実世界の環境、つまりMatterport3DとReplicaで、動く音、聞こえない音、ノイズの多い環境のすべてのタスクで、現在の最先端技術を常に大幅に上回っていることを示しています。ベンチマークはhttp://dav-nav.cs.uni-freiburg.deで入手できます。
Audio-visual navigation combines sight and hearing to navigate to a sound-emitting source in an unmapped environment. While recent approaches have demonstrated the benefits of audio input to detect and find the goal, they focus on clean and static sound sources and struggle to generalize to unheard sounds. In this work, we propose the novel dynamic audio-visual navigation benchmark which requires to catch a moving sound source in an environment with noisy and distracting sounds. We introduce a reinforcement learning approach that learns a robust navigation policy for these complex settings. To achieve this, we propose an architecture that fuses audio-visual information in the spatial feature space to learn correlations of geometric information inherent in both local maps and audio signals. We demonstrate that our approach consistently outperforms the current state-of-the-art by a large margin across all tasks of moving sounds, unheard sounds, and noisy environments, on two challenging 3D scanned real-world environments, namely Matterport3D and Replica. The benchmark is available at http://dav-nav.cs.uni-freiburg.de.