arXiv reaDer
加法層ディスプレイ用のディープ ビリーフ ネットワークと加重バイナリ イメージに基づく新しいライト フィールド コーディング スキーム
A Novel Light Field Coding Scheme Based on Deep Belief Network & Weighted Binary Images for Additive Layered Displays
ライトフィールド ディスプレイは、両眼の奥行き感覚と運動視差を提供することにより、没入感のある体験を生み出します。光減衰層を積み重ねることは、より広い被写界深度、広い視野角、および高解像度を備えたライトフィールドディスプレイを実装する1つのアプローチです。透明なホログラフィック光学素子 (HOE) レイヤーにより、付加的なレイヤード ディスプレイを拡張現実 (AR) ウェアラブルに統合して、仮想オブジェクトを現実世界にオーバーレイし、シームレスな複合現実 (XR) エクスペリエンスを作成できます。この論文では、ディープ ビリーフ ネットワーク (DBN) と加法的レイヤード ディスプレイに適した加重バイナリ イメージを利用するライト フィールド表現とコーディングのための新しいフレームワークを提案します。レイヤーの加重バイナリ表現により、適応ビットレート エンコーディングに対するフレームワークの柔軟性が向上します。このフレームワークは、ライト フィールド データの本質的な冗長性を効果的に捉え、XR ディスプレイ アプリケーションに適したライト フィールド コーディングのスケーラブルなソリューションを提供します。潜在コードは、H.265 コーデックによってエンコードされ、レート スケーラブルなビットストリームを生成します。最適な再構成品質を維持しながら、重み付けされたバイナリ イメージの数と H.265 量子化パラメーターを変化させることにより、適応ビットレート デコードを実現します。このフレームワークは、実際のベンチマーク データセットと合成ベンチマーク データセットでテストされ、結果は、提案されたスキームのレート スケーラブル プロパティを検証します。
Light-field displays create an immersive experience by providing binocular depth sensation and motion parallax. Stacking light attenuating layers is one approach to implement a light field display with a broader depth of field, wide viewing angles and high resolution. Due to the transparent holographic optical element (HOE) layers, additive layered displays can be integrated into augmented reality (AR) wearables to overlay virtual objects onto the real world, creating a seamless mixed reality (XR) experience. This paper proposes a novel framework for light field representation and coding that utilizes Deep Belief Network (DBN) and weighted binary images suitable for additive layered displays. The weighted binary representation of layers makes the framework more flexible for adaptive bitrate encoding. The framework effectively captures intrinsic redundancies in the light field data, and thus provides a scalable solution for light field coding suitable for XR display applications. The latent code is encoded by H.265 codec generating a rate-scalable bit-stream. We achieve adaptive bitrate decoding by varying the number of weighted binary images and the H.265 quantization parameter, while maintaining an optimal reconstruction quality. The framework is tested on real and synthetic benchmark datasets, and the results validate the rate-scalable property of the proposed scheme.
updated: Fri Apr 21 2023 14:59:26 GMT+0000 (UTC)
published: Tue Oct 04 2022 08:18:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト