ニューラルラディアンスフィールド(NeRF)は、3Dインタラクティブエクスペリエンスに新しい波をもたらします。ただし、没入型体験の重要な部分として、焦点ぼけ効果はNeRF内で完全には調査されていません。最近のいくつかのNeRFベースの方法は、マルチプレーン技術を利用することにより、後処理方式で3Dデフォーカス効果を生成します。それでも、それらは時間とメモリのどちらかです。この論文では、NeRFocusと呼ばれるさまざまな3Dデフォーカス効果を直接レンダリングできる新しい薄レンズイメージングベースのNeRFフレームワークを提案します。ピンホールとは異なり、薄いレンズはシーンポイントの光線を屈折させるため、センサー平面でのイメージングは混乱の円(CoC)として散乱されます。このプロセスを近似するのに十分な光線をサンプリングする直接解は、計算コストが高くなります。代わりに、薄レンズイメージングを逆にして、センサー平面上の各ポイントのビームパスを明示的にモデル化し、このパラダイムを各ピクセルのビームパスに一般化してから、錐台ベースのボリュームレンダリングを使用して各ピクセルのビームパスをレンダリングすることを提案します。さらに、効率的な確率的トレーニング(p-training)戦略を設計して、トレーニングプロセスを大幅に簡素化します。広範な実験により、NeRFocusは、調整可能なカメラポーズ、焦点距離、および絞りサイズを使用して、さまざまな3Dデフォーカス効果を実現できることが実証されています。既存のNeRFは、大きな被写界深度の画像をレンダリングするためにアパーチャサイズをゼロに設定することにより、私たちの特別なケースと見なすことができます。このようなメリットにもかかわらず、NeRFocusはNeRFの元のパフォーマンス(トレーニングと推論の時間、パラメーターの消費、レンダリング品質など)を犠牲にすることはありません。これは、幅広いアプリケーションとさらなる改善の大きな可能性を意味します。
Neural radiance fields (NeRF) bring a new wave for 3D interactive experiences. However, as an important part of the immersive experiences, the defocus effects have not been fully explored within NeRF. Some recent NeRF-based methods generate 3D defocus effects in a post-process fashion by utilizing multiplane technology. Still, they are either time-consuming or memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF framework that can directly render various 3D defocus effects, dubbed NeRFocus. Unlike the pinhole, the thin lens refracts rays of a scene point, so its imaging on the sensor plane is scattered as a circle of confusion (CoC). A direct solution sampling enough rays to approximate this process is computationally expensive. Instead, we propose to inverse the thin lens imaging to explicitly model the beam path for each point on the sensor plane and generalize this paradigm to the beam path of each pixel, then use the frustum-based volume rendering to render each pixel's beam path. We further design an efficient probabilistic training (p-training) strategy to simplify the training process vastly. Extensive experiments demonstrate that our NeRFocus can achieve various 3D defocus effects with adjustable camera pose, focus distance, and aperture size. Existing NeRF can be regarded as our special case by setting aperture size as zero to render large depth-of-field images. Despite such merits, NeRFocus does not sacrifice NeRF's original performance (e.g., training and inference time, parameter consumption, rendering quality), which implies its great potential for broader application and further improvement.