2D 画像のコレクションからのシーンの高品質の 3D 再構成は、オフライン/オンライン マッピング方法によって実現できます。この論文では、最近さまざまなアプリケーションで説得力のある結果を生み出した暗黙的表現の観点からアクティブ マッピングについて説明します。最も一般的な暗黙的表現の 1 つである Neural Radiance Field (NeRF) は、マルチレイヤー パーセプトロンを使用してフォトリアリスティックなレンダリング結果を初めて実証し、放射輝度フィールドの副産物として有望なオフライン 3D 再構成を行いました。最近では、研究者はこの暗黙的な表現をオンラインの再構成とローカリゼーション (つまり、暗黙的な SLAM システム) にも適用しました。ただし、アクティブ ビジョン タスクの暗黙的な表現を使用する研究はまだ非常に限られています。この論文では、アクティブなシステムで密接に結合されたタスクであるアクティブなマッピングと計画の問題にニューラル放射輝度フィールドを適用することに特に関心があります。アクティブな 3D 再構成と計画をオンラインで行うための放射輝度フィールド表現を使用して、RGB のみのアクティブ ビジョン フレームワークを初めて提示します。具体的には、この共同タスクを反復的な 2 段階最適化問題として定式化し、代わりに放射輝度場の表現と経路計画を最適化します。実験結果は、提案された方法が他のオフライン方法と比較して競争力のある結果を達成し、NeRF を使用したアクティブな再構成方法よりも優れていることを示唆しています。
A high-quality 3D reconstruction of a scene from a collection of 2D images can be achieved through offline/online mapping methods. In this paper, we explore active mapping from the perspective of implicit representations, which have recently produced compelling results in a variety of applications. One of the most popular implicit representations - Neural Radiance Field (NeRF), first demonstrated photorealistic rendering results using multi-layer perceptrons, with promising offline 3D reconstruction as a by-product of the radiance field. More recently, researchers also applied this implicit representation for online reconstruction and localization (i.e. implicit SLAM systems). However, the study on using implicit representation for active vision tasks is still very limited. In this paper, we are particularly interested in applying the neural radiance field for active mapping and planning problems, which are closely coupled tasks in an active system. We, for the first time, present an RGB-only active vision framework using radiance field representation for active 3D reconstruction and planning in an online manner. Specifically, we formulate this joint task as an iterative dual-stage optimization problem, where we alternatively optimize for the radiance field representation and path planning. Experimental results suggest that the proposed method achieves competitive results compared to other offline methods and outperforms active reconstruction methods using NeRFs.