arXiv reaDer
Sat-NeRF:一時的なオブジェクトを使用したマルチビュー衛星写真測量の学習とRPCカメラを使用したシャドウモデリング
Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient Objects and Shadow Modeling Using RPC Cameras
野生のマルチビュー衛星写真測量を学習するための新しいエンドツーエンドモデルであるSatelliteNeuralRadiance Field(Sat-NeRF)を紹介します。 Sat-NeRFは、ニューラルレンダリングの最新トレンドのいくつかを、有理多項式係数(RPC)関数で表されるネイティブ衛星カメラモデルと組み合わせています。提案された方法は、新しいビューをレンダリングし、従来の最先端のステレオパイプラインで得られたものと同様の品質の表面モデルを推測します。複数の日付の画像は、主にさまざまな影や一時的なオブジェクト(車、植生)が原因で、外観に大きな変化が見られます。これらの課題に対する堅牢性は、太陽の位置では説明できない一時的な現象に対処するための、影を意識した放射照度モデルと不確実性の重み付けによって実現されます。さまざまな場所からのWorldView-3画像を使用してSat-NeRFを評価し、トレーニングの前に衛星カメラモデルにバンドル調整を適用することの利点を強調します。これにより、ネットワークパフォーマンスが向上し、オプションで、深度監視のための追加のキューを抽出するために使用できます。
We introduce the Satellite Neural Radiance Field (Sat-NeRF), a new end-to-end model for learning multi-view satellite photogrammetry in the wild. Sat-NeRF combines some of the latest trends in neural rendering with native satellite camera models, represented by rational polynomial coefficient (RPC) functions. The proposed method renders new views and infers surface models of similar quality to those obtained with traditional state-of-the-art stereo pipelines. Multi-date images exhibit significant changes in appearance, mainly due to varying shadows and transient objects (cars, vegetation). Robustness to these challenges is achieved by a shadow-aware irradiance model and uncertainty weighting to deal with transient phenomena that cannot be explained by the position of the sun. We evaluate Sat-NeRF using WorldView-3 images from different locations and stress the advantages of applying a bundle adjustment to the satellite camera models prior to training. This boosts the network performance and can optionally be used to extract additional cues for depth supervision.
updated: Wed Mar 16 2022 19:18:46 GMT+0000 (UTC)
published: Wed Mar 16 2022 19:18:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト