arXiv reaDer
表面再構成のための衛星画像への NeRF の適用
NeRF applied to satellite imagery for surface reconstruction
最近導入された Shadow Neural Radiance Field (S-NeRF) モデルの修正実装である Sat-NeRF を紹介します。この方法は、写真に存在する照明の変化を考慮しながら、シーンのまばらな衛星画像セットから新しいビューを合成することができます。トレーニング済みのモデルを使用して、シーンの表面標高を正確に推定することもできます。これは、多くの場合、衛星観測アプリケーションにとって望ましい量です。 S-NeRF は、アルベドと放射照度の関数として放射輝度を考慮することにより、標準のニューラル放射輝度場 (NeRF) メソッドを改善します。これらの量は両方とも、モデルの完全に接続されたニューラル ネットワーク ブランチによって出力されます。後者は、太陽からの直接光と空からの拡散色の関数と見なされます。実装は、衛星画像のデータセットで実行され、ズームとトリミングの手法を使用して拡張されました。 NeRF のハイパーパラメータ研究が実施され、モデルの収束に関する興味深い観察結果が得られました。最後に、NeRF と S-NeRF の両方を 100k エポックまで実行して、データを完全に適合させ、可能な限り最良の予測を生成しました。この記事に関連するコードは、https://github.gatech.edu/fsemeraro6/satnerf にあります。
We present Sat-NeRF, a modified implementation of the recently introduced Shadow Neural Radiance Field (S-NeRF) model. This method is able to synthesize novel views from a sparse set of satellite images of a scene, while accounting for the variation in lighting present in the pictures. The trained model can also be used to accurately estimate the surface elevation of the scene, which is often a desirable quantity for satellite observation applications. S-NeRF improves on the standard Neural Radiance Field (NeRF) method by considering the radiance as a function of the albedo and the irradiance. Both these quantities are output by fully connected neural network branches of the model, and the latter is considered as a function of the direct light from the sun and the diffuse color from the sky. The implementations were run on a dataset of satellite images, augmented using a zoom-and-crop technique. A hyperparameter study for NeRF was carried out, leading to intriguing observations on the model's convergence. Finally, both NeRF and S-NeRF were run until 100k epochs in order to fully fit the data and produce their best possible predictions. The code related to this article can be found at https://github.gatech.edu/fsemeraro6/satnerf.
updated: Sun Apr 09 2023 01:37:13 GMT+0000 (UTC)
published: Sun Apr 09 2023 01:37:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト