いくつかの形式の新しいビジュアルメディアを使用すると、視聴者は、元のビューの個別のセット間を補間することにより、任意の視点から3Dシーンを探索できます。 2D画像と比較して、これらのタイプのアプリケーションは、はるかに大量のストレージスペースを必要とし、これを削減しようとしています。 3Dシーンを圧縮するための既存のアプローチは、圧縮とレンダリングの分離に基づいています。元のビューはそれぞれ、従来の2D画像形式を使用して圧縮されます。レシーバーはビューを解凍してからレンダリングを実行します。シーンの陰的表現を直接圧縮することにより、これらのステップを統合します。これは、空間座標を輝度ベクトル場にマッピングする関数であり、クエリを実行して任意の視点をレンダリングできます。この関数はニューラルネットワークとして実装され、パラメーターにエントロピーペナルティを使用して、エンドツーエンドの方法で再構成と圧縮性について共同でトレーニングされます。私たちの方法は、シーン圧縮のための最先端の従来のアプローチを大幅に上回り、より高品質の再構成とより低いビットレートを同時に達成します。さらに、ソフト形式のパラメーター共有を使用して複数のシーンを共同で表現することにより、低ビットレートでのパフォーマンスを向上できることを示します。
Some forms of novel visual media enable the viewer to explore a 3D scene from arbitrary viewpoints, by interpolating between a discrete set of original views. Compared to 2D imagery, these types of applications require much larger amounts of storage space, which we seek to reduce. Existing approaches for compressing 3D scenes are based on a separation of compression and rendering: each of the original views is compressed using traditional 2D image formats; the receiver decompresses the views and then performs the rendering. We unify these steps by directly compressing an implicit representation of the scene, a function that maps spatial coordinates to a radiance vector field, which can then be queried to render arbitrary viewpoints. The function is implemented as a neural network and jointly trained for reconstruction as well as compressibility, in an end-to-end manner, with the use of an entropy penalty on the parameters. Our method significantly outperforms a state-of-the-art conventional approach for scene compression, achieving simultaneously higher quality reconstructions and lower bitrates. Furthermore, we show that the performance at lower bitrates can be improved by jointly representing multiple scenes using a soft form of parameter sharing.