私たちの環境は、豊かでダイナミックな音響情報で満たされています。大聖堂に足を踏み入れると、見た目と同じくらいの残響が聖域の広い広場を教えてくれます。同様に、物体が私たちの周りを移動するとき、放出される音もこの動きを示すと予想されます。学習された陰関数の最近の進歩は、視覚世界のますます高品質の表現をもたらしましたが、空間聴覚表現の学習に見合った進歩はありませんでした。このギャップに対処するために、物理的なシーンで音がどのように伝播するかをキャプチャする暗黙の表現であるNeural Acoustic Fields(NAF)を紹介します。 NAFは、シーン内の音響伝搬を線形時不変システムとしてモデル化することにより、すべてのエミッターとリスナーの位置のペアを、任意のサウンドに適用できるニューラルインパルス応答関数に継続的にマッピングすることを学習します。 NAFの継続的な性質により、リスナーの空間音響を任意の場所でレンダリングでき、新しい場所での音の伝播を予測できることを示します。さらに、NAFによって学習された表現が、スパースビューによる視覚学習の改善に役立つことを示します。最後に、シーン構造を説明する表現がNAFの学習中に出現することを示します。
Our environment is filled with rich and dynamic acoustic information. When we walk into a cathedral, the reverberations as much as appearance inform us of the sanctuary's wide open space. Similarly, as an object moves around us, we expect the sound emitted to also exhibit this movement. While recent advances in learned implicit functions have led to increasingly higher quality representations of the visual world, there have not been commensurate advances in learning spatial auditory representations. To address this gap, we introduce Neural Acoustic Fields (NAFs), an implicit representation that captures how sounds propagate in a physical scene. By modeling acoustic propagation in a scene as a linear time-invariant system, NAFs learn to continuously map all emitter and listener location pairs to a neural impulse response function that can then be applied to arbitrary sounds. We demonstrate that the continuous nature of NAFs enables us to render spatial acoustics for a listener at an arbitrary location, and can predict sound propagation at novel locations. We further show that the representation learned by NAFs can help improve visual learning with sparse views. Finally, we show that a representation informative of scene structure emerges during the learning of NAFs.