arXiv reaDer
無限の自然:単一の画像からの自然シーンの永続的なビュー生成
Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image
永続的なビュー生成の問題を紹介します。これは、単一の画像が与えられた場合に、任意の長さのカメラ軌道に対応する新しいビューの長距離生成です。これは、大きなカメラの動きが提示されるとすぐに縮退する現在のビュー合成方法の機能をはるかに超える挑戦的な問題です。ビデオ生成の方法も、長いシーケンスを生成する能力が限られており、シーンのジオメトリにとらわれないことがよくあります。ジオメトリと画像合成の両方を反復的な「レンダリング、リファイン、リピート」フレームワークに統合するハイブリッドアプローチを採用し、数百フレーム後の長距離をカバーする長距離生成を可能にします。私たちのアプローチは、単眼のビデオシーケンスのセットからトレーニングすることができます。沿岸シーンの空中映像のデータセットを提案し、私たちの方法を最近のビュー合成および条件付きビデオ生成ベースラインと比較して、既存の方法と比較して、大きなカメラ軌道上ではるかに長い時間範囲でもっともらしいシーンを生成できることを示します。 https://infinite-nature.github.io/のプロジェクトページ。
We introduce the problem of perpetual view generation - long-range generation of novel views corresponding to an arbitrarily long camera trajectory given a single image. This is a challenging problem that goes far beyond the capabilities of current view synthesis methods, which quickly degenerate when presented with large camera motions. Methods for video generation also have limited ability to produce long sequences and are often agnostic to scene geometry. We take a hybrid approach that integrates both geometry and image synthesis in an iterative `render, refine and repeat' framework, allowing for long-range generation that cover large distances after hundreds of frames. Our approach can be trained from a set of monocular video sequences. We propose a dataset of aerial footage of coastal scenes, and compare our method with recent view synthesis and conditional video generation baselines, showing that it can generate plausible scenes for much longer time horizons over large camera trajectories compared to existing methods. Project page at https://infinite-nature.github.io/.
updated: Tue Sep 14 2021 06:20:24 GMT+0000 (UTC)
published: Thu Dec 17 2020 18:59:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト