arXiv reaDer
衛星画像からのジオメトリガイド付きストリートビューパノラマ合成
Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
この論文は、頭上の衛星画像を与えられた新しいストリートビューパノラマを合成するための新しいアプローチを提示します。小さな衛星画像パッチを入力として使用すると、衛星パッチの中心と同じ地理的位置からキャプチャされたかのように、Googleの全方向性ストリートビュータイプのパノラマが生成されます。既存の作品は、ドメインの関連性を無視しながら、クロスビュー変換を暗黙的に学習する生成的敵対的ネットワークを採用する画像生成問題としてこのタスクに取り組んでいます。本論文では、クロスビュー変換学習を容易にするために、2ビュー画像間の幾何学的対応を明示的に確立することを提案します。具体的には、実世界の3Dポイントが両方のビューに表示されている場合、この3Dポイントの高さ情報が与えられると、2つのビューの画像の投影ポイント間に決定論的なマッピングがあることがわかります。これを動機として、このような幾何学的対応を明示的に確立し、衛星画像をストリートビューポイントに投影する、新しい衛星からストリートビューへの画像投影(S2SP)モジュールを開発します。次に、これらの投影された衛星画像をネットワーク入力として使用し、ジェネレータを使用して、衛星画像と幾何学的に一致するリアルなストリートビューパノラマを合成します。 S2SPモジュールは差別化可能であり、フレームワーク全体がエンドツーエンドの方法でトレーニングされています。 2つのクロスビューベンチマークデータセットに関する広範な実験結果は、私たちの方法が既存のアプローチよりもシーンの形状をより尊重する画像を生成することを示しています。
This paper presents a new approach for synthesizing a novel street-view panorama given an overhead satellite image. Taking a small satellite image patch as input, our method generates a Google's omnidirectional street-view type panorama, as if it is captured from the same geographical location as the center of the satellite patch. Existing works tackle this task as an image generation problem which adopts generative adversarial networks to implicitly learn the cross-view transformations, while ignoring the domain relevance. In this paper, we propose to explicitly establish the geometric correspondences between the two-view images so as to facilitate the cross-view transformation learning. Specifically, we observe that when a 3D point in the real world is visible in both views, there is a deterministic mapping between the projected points in the two-view images given the height information of this 3D point. Motivated by this, we develop a novel Satellite to Street-view image Projection (S2SP) module which explicitly establishes such geometric correspondences and projects the satellite images to the street viewpoint. With these projected satellite images as network input, we next employ a generator to synthesize realistic street-view panoramas that are geometrically consistent with the satellite images. Our S2SP module is differentiable and the whole framework is trained in an end-to-end manner. Extensive experimental results on two cross-view benchmark datasets demonstrate that our method generates images that better respect the scene geometry than existing approaches.
updated: Tue Mar 02 2021 10:27:05 GMT+0000 (UTC)
published: Tue Mar 02 2021 10:27:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト