この論文では、量子化蒸留低ランク神経放射場(QDLR-NeRF)表現に基づく新しいライトフィールド圧縮方法を提案します。既存の圧縮方法はライト フィールド サブアパーチャ画像のセットをエンコードしますが、提案された方法は代わりに、ビュー合成も可能にするニューラル ラディアンス フィールド (NeRF) の形式で暗黙的なシーン表現を学習します。サイズを縮小するために、モデルは最初に、Alternating Direction Method of Multipliers (ADMM) 最適化フレームワークで Tensor Train (TT) 分解を使用して Low Rank (LR) 制約の下で学習されます。モデル サイズをさらに縮小するには、テンソル トレイン分解のコンポーネントを量子化する必要があります。ただし、低ランク制約とレート制約付き重み量子化を同時に考慮して NeRF モデルの最適化を実行することは困難です。この問題に対処するために、ネットワークトレーニングで低ランク近似と重み量子化を分離するネットワーク蒸留操作を導入します。初期の LR 制約付き NeRF (LR-NeRF) からの情報は、LR-NeRF の TT 分解に基づいて、はるかに小さい次元のモデル (DLR-NeRF) に抽出されます。次に、最適化されたグローバル コードブックを学習してすべての TT コンポーネントを量子化し、最終的な QDLRNeRF を生成します。実験結果は、提案された方法が最先端の方法と比較してより良い圧縮効率をもたらすことを示しており、さらに、高品質のライトフィールドビューの合成を可能にするという利点があります。
In this paper, we propose a novel light field compression method based on a Quantized Distilled Low Rank Neural Radiance Field (QDLR-NeRF) representation. While existing compression methods encode the set of light field sub-aperture images, our proposed method instead learns an implicit scene representation in the form of a Neural Radiance Field (NeRF), which also enables view synthesis. For reducing its size, the model is first learned under a Low Rank (LR) constraint using a Tensor Train (TT) decomposition in an Alternating Direction Method of Multipliers (ADMM) optimization framework. To further reduce the model size, the components of the tensor train decomposition need to be quantized. However, performing the optimization of the NeRF model by simultaneously taking the low rank constraint and the rate-constrained weight quantization into consideration is challenging. To deal with this difficulty, we introduce a network distillation operation that separates the low rank approximation and the weight quantization in the network training. The information from the initial LR constrained NeRF (LR-NeRF) is distilled to a model of a much smaller dimension (DLR-NeRF) based on the TT decomposition of the LR-NeRF. An optimized global codebook is then learned to quantize all TT components, producing the final QDLRNeRF. Experimental results show that our proposed method yields better compression efficiency compared with state-of-the-art methods, and it additionally has the advantage of allowing the synthesis of any light field view with a high quality.