arXiv reaDer
NAN:バーストノイズ除去のためのノイズ認識NeRF
NAN: Noise-Aware NeRFs for Burst-Denoising
計算写真は携帯電話や小型カメラに固有の感度の問題を克服するのに役立つため、バーストノイズ除去はこれまで以上に重要になっています。バーストノイズ除去の主な課題は、ピクセルのミスアラインメントに対処することです。これは、これまで、単純な動きのかなり単純な仮定、または前処理でアラインメントする機能で処理されていました。このような仮定は、大きな動きと高レベルのノイズが存在する場合には現実的ではありません。物理ベースの小説ビューレンダリング用に最初に提案されたニューラルラディアンスフィールド(NeRF)が、バーストノイズ除去の強力なフレームワークとして機能できることを示します。 NeRFは、複数の画像からの情報を統合するため、ノイズを処理する固有の機能を備えていますが、主に理想的な画像条件に適したピクセル単位の操作に基づいているため、その機能には制限があります。 NANと呼ばれる私たちのアプローチは、NeRFのインタビューと空間情報を活用して、ノイズをより適切に処理します。バーストノイズ除去で最先端の結果を達成し、非常に高いレベルのノイズの下で、大きな動きや閉塞に対処するのに特に成功しています。 NeRFの加速が急速に進んだことで、困難な環境でノイズ除去するための強力なプラットフォームを提供できる可能性があります。
Burst denoising is now more relevant than ever, as computational photography helps overcome sensitivity issues inherent in mobile phones and small cameras. A major challenge in burst-denoising is in coping with pixel misalignment, which was so far handled with rather simplistic assumptions of simple motion, or the ability to align in pre-processing. Such assumptions are not realistic in the presence of large motion and high levels of noise. We show that Neural Radiance Fields (NeRFs), originally suggested for physics-based novel-view rendering, can serve as a powerful framework for burst denoising. NeRFs have an inherent capability of handling noise as they integrate information from multiple images, but they are limited in doing so, mainly since they build on pixel-wise operations which are suitable to ideal imaging conditions. Our approach, termed NAN, leverages inter-view and spatial information in NeRFs to better deal with noise. It achieves state-of-the-art results in burst denoising and is especially successful in coping with large movement and occlusions, under very high levels of noise. With the rapid advances in accelerating NeRFs, it could provide a powerful platform for denoising in challenging environments.
updated: Tue Apr 12 2022 16:21:08 GMT+0000 (UTC)
published: Sun Apr 10 2022 12:10:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト