arXiv reaDer
モーション ブラーを使用した大規模シーンのハイブリッド ニューラル レンダリング
Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur
新しいビュー イメージをレンダリングすることは、多くのアプリケーションにとって非常に望ましいことです。最近の進歩にもかかわらず、避けられないアーティファクト (モーション ブラーなど) を伴う野生の画像から、大規模なシーンの高忠実度で一貫性のある斬新なビューをレンダリングすることは依然として困難です。この目的のために、画像ベースの表現とニューラル 3D 表現を組み合わせて、高品質でビューの一貫性のある画像をレンダリングするハイブリッド ニューラル レンダリング モデルを開発します。さらに、野生でキャプチャされた画像には、レンダリングされた画像の品質を低下させるモーションブラーなどのアーティファクトが必然的に含まれます。したがって、レンダリングされた画像のぼかし効果をシミュレートして、ぼやけ画像の悪影響を軽減し、事前に計算された品質を考慮した重みに基づいてトレーニング中にそれらの重要性を減らす戦略を提案します。実際のデータと合成データに関する広範な実験により、私たちのモデルが最先端のポイントベースの新しいビュー合成方法を上回っていることが実証されました。コードは https://daipengwa.github.io/Hybrid-Rendering-ProjectPage で入手できます。
Rendering novel view images is highly desirable for many applications. Despite recent progress, it remains challenging to render high-fidelity and view-consistent novel views of large-scale scenes from in-the-wild images with inevitable artifacts (e.g., motion blur). To this end, we develop a hybrid neural rendering model that makes image-based representation and neural 3D representation join forces to render high-quality, view-consistent images. Besides, images captured in the wild inevitably contain artifacts, such as motion blur, which deteriorates the quality of rendered images. Accordingly, we propose strategies to simulate blur effects on the rendered images to mitigate the negative influence of blurriness images and reduce their importance during training based on precomputed quality-aware weights. Extensive experiments on real and synthetic data demonstrate our model surpasses state-of-the-art point-based methods for novel view synthesis. The code is available at https://daipengwa.github.io/Hybrid-Rendering-ProjectPage.
updated: Sun Jul 09 2023 13:45:44 GMT+0000 (UTC)
published: Tue Apr 25 2023 08:36:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト