この作業の目的は、ローバー カメラからの画像のいくつかのコレクションを使用して火星環境を合成できる新しいフレームワークである MaRF を導入することです。アイデアは、火星の表面の 3D シーンを生成して、惑星地質学、シミュレートされたナビゲーション、形状分析など、惑星表面探査における重要な課題に対処することです。火星の表面の 3D 再構成を可能にするさまざまな方法が存在しますが、それらは再構成プロセス中に大量の計算リソースが発生する従来のコンピューター グラフィックス技術に依存しており、再構成を目に見えないシーンに一般化し、新しい画像に適応することに限界があります。ローバーカメラ。提案されたフレームワークは、画像のスパース セットを使用して連続ボリューム シーン関数を最適化することで複雑なシーンを合成する方法である Neural Radiance Fields (NeRF) を活用することで、前述の制限を解決します。学習プロセスを高速化するために、ローバー画像のまばらなセットをニューラル グラフィックス プリミティブ (NGP) に置き換えました。NGP は、元の画像の情報を大幅に小さいサイズで保持するために学習される固定長のベクトルのセットです。実験セクションでは、Curiosity ローバー、Perseverance ローバー、Ingenuity ヘリコプターによってキャプチャされた実際の火星データセットから作成された環境を示します。これらはすべて Planetary Data System (PDS) で利用できます。
The aim of this work is to introduce MaRF, a novel framework able to synthesize the Martian environment using several collections of images from rover cameras. The idea is to generate a 3D scene of Mars' surface to address key challenges in planetary surface exploration such as: planetary geology, simulated navigation and shape analysis. Although there exist different methods to enable a 3D reconstruction of Mars' surface, they rely on classical computer graphics techniques that incur high amounts of computational resources during the reconstruction process, and have limitations with generalizing reconstructions to unseen scenes and adapting to new images coming from rover cameras. The proposed framework solves the aforementioned limitations by exploiting Neural Radiance Fields (NeRFs), a method that synthesize complex scenes by optimizing a continuous volumetric scene function using a sparse set of images. To speed up the learning process, we replaced the sparse set of rover images with their neural graphics primitives (NGPs), a set of vectors of fixed length that are learned to preserve the information of the original images in a significantly smaller size. In the experimental section, we demonstrate the environments created from actual Mars datasets captured by Curiosity rover, Perseverance rover and Ingenuity helicopter, all of which are available on the Planetary Data System (PDS).