arXiv reaDer
InfoNeRF:少数ショットのニューラルボリュームレンダリングのためのレイエントロピー最小化
InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering
ニューラル暗黙表現に基づく数ショットの新規ビュー合成のための情報理論的正則化手法を提示します。提案されたアプローチは、各光線の密度のエントロピー制約を課すことにより、不十分な視点によって発生する可能性のある再構成の不整合を最小限に抑えます。さらに、すべてのトレーニング画像がほぼ冗長な視点から取得される場合の潜在的な縮退問題を軽減するために、わずかに異なる視点を持つ一対の光線からの情報ゲインを制限することにより、推定画像に空間的滑らかさの制約をさらに組み込みます。私たちのアルゴリズムの主なアイデアは、再構築されたシーンを個々の光線に沿ってコンパクトにし、近隣の光線全体で一貫させることです。提案されたレギュラライザーは、NeRFに基づく既存のニューラルボリュームレンダリング手法のほとんどに簡単な方法でプラグインできます。その単純さにもかかわらず、複数の標準ベンチマークで大幅なマージンにより、既存のニューラルビュー合成方法と比較して一貫して改善されたパフォーマンスを実現します。
We present an information-theoretic regularization technique for few-shot novel view synthesis based on neural implicit representation. The proposed approach minimizes potential reconstruction inconsistency that happens due to insufficient viewpoints by imposing the entropy constraint of the density in each ray. In addition, to alleviate the potential degenerate issue when all training images are acquired from almost redundant viewpoints, we further incorporate the spatially smoothness constraint into the estimated images by restricting information gains from a pair of rays with slightly different viewpoints. The main idea of our algorithm is to make reconstructed scenes compact along individual rays and consistent across rays in the neighborhood. The proposed regularizers can be plugged into most of existing neural volume rendering techniques based on NeRF in a straightforward way. Despite its simplicity, we achieve consistently improved performance compared to existing neural view synthesis methods by large margins on multiple standard benchmarks.
updated: Sun Apr 10 2022 08:48:45 GMT+0000 (UTC)
published: Fri Dec 31 2021 11:56:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト