arXiv reaDer
ライトフィールド圧縮のための学習ベースの空間および角度情報の分離
Learning-based Spatial and Angular Information Separation for Light Field Compression
ライト フィールドは、さまざまな方向からシーンによって放出された光線を記録することによって、空間情報と角度情報をキャプチャする画像データの一種です。このコンテキストでは、空間情報は視点に関係なく静的なフィーチャとして定義され、角度情報は視点間で変化するフィーチャを指します。設計により、ライト フィールドの角度情報と空間情報を分離できる新しいニューラル ネットワークを提案します。このネットワークは、すべてのサブアパーチャ イメージ (SAI) 間で共有される空間カーネルを使用して空間情報を表し、各 SAI の角度カーネルのセットを使用して角度情報を表します。パラメータ数を増やすことなくネットワークの表現能力をさらに向上させるために、角度カーネル割り当てとカーネルテンソル分解メカニズムも導入します。広範な実験により、情報分離の利点が実証されました。圧縮タスクに適用すると、ネットワークは他の最先端の方法よりも大幅に優れています。また、角度情報を他のシーンに簡単に転送して密なビューをレンダリングできます。これは、分離の成功とビュー合成タスクの潜在的な使用例を示しています。このトピックに関するさらなる研究を促進するために、論文が受理され次第、コードをリリースする予定です。
Light fields are a type of image data that capture both spatial and angular scene information by recording light rays emitted by a scene from different orientations. In this context, spatial information is defined as features that remain static regardless of perspectives, while angular information refers to features that vary between viewpoints. We propose a novel neural network that, by design, can separate angular and spatial information of a light field. The network represents spatial information using spatial kernels shared among all Sub-Aperture Images (SAIs), and angular information using sets of angular kernels for each SAI. To further improve the representation capability of the network without increasing parameter number, we also introduce angular kernel allocation and kernel tensor decomposition mechanisms. Extensive experiments demonstrate the benefits of information separation: when applied to the compression task, our network outperforms other state-of-the-art methods by a large margin. And angular information can be easily transferred to other scenes for rendering dense views, showing the successful separation and the potential use case for the view synthesis task. We plan to release the code upon acceptance of the paper to encourage further research on this topic.
updated: Sat Sep 02 2023 08:02:42 GMT+0000 (UTC)
published: Thu Apr 13 2023 08:02:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト