arXiv reaDer
3Dビデオコーディングのための自動加重層表現ベースのビュー合成歪み推定
Auto-Weighted Layer Representation Based View Synthesis Distortion Estimation for 3-D Video Coding
最近、3Dビデオコーディングにより適したさまざまなビュー合成歪み推定モデルが研究されています。ただし、さまざまなレベルの深度変化、テクスチャの縮退、およびレート歪みの最適化とレート割り当てに不可欠なビュー合成歪み(VSD)間の関係を定量的にモデル化することはほとんどできません。本論文では、自動加重層表現に基づくビュー合成歪み推定モデルを開発した。まず、サブVSD(S-VSD)は、深さの変化のレベルとそれに関連するテクスチャの退化に従って定義されます。その後、一連の理論的導出は、VSDがS-VSDに関連する重みを掛けたものにほぼ分解できることを示しています。 S-VSDを取得するために、S-VSDのレイヤーベースの表現が開発されます。ここでは、同じレベルの深度変化を持つすべてのピクセルがレイヤーで表され、レイヤーレベルでの効率的なS-VSD計算が可能になります。一方、非線形マッピング関数は、VSDとS-VSDの関係を正確に表すために学習され、VSD推定中にS-VSDの重みを自動的に提供します。このような機能を学習するために、VSDとそれに関連するS-VSDのデータセットが作成されます。実験結果は、関連するS-VSDが利用可能になると、非線形マッピング関数によって学習された重みを使用してVSDを正確に推定できることを示しています。提案された方法は、精度と効率の両方で、関連する最先端の方法よりも優れています。提案された方法のデータセットとソースコードは、https://github.com/jianjin008/で入手できます。
Recently, various view synthesis distortion estimation models have been studied to better serve for 3-D video coding. However, they can hardly model the relationship quantitatively among different levels of depth changes, texture degeneration, and the view synthesis distortion (VSD), which is crucial for rate-distortion optimization and rate allocation. In this paper, an auto-weighted layer representation based view synthesis distortion estimation model is developed. Firstly, the sub-VSD (S-VSD) is defined according to the level of depth changes and their associated texture degeneration. After that, a set of theoretical derivations demonstrate that the VSD can be approximately decomposed into the S-VSDs multiplied by their associated weights. To obtain the S-VSDs, a layer-based representation of S-VSD is developed, where all the pixels with the same level of depth changes are represented with a layer to enable efficient S-VSD calculation at the layer level. Meanwhile, a nonlinear mapping function is learnt to accurately represent the relationship between the VSD and S-VSDs, automatically providing weights for S-VSDs during the VSD estimation. To learn such function, a dataset of VSD and its associated S-VSDs are built. Experimental results show that the VSD can be accurately estimated with the weights learnt by the nonlinear mapping function once its associated S-VSDs are available. The proposed method outperforms the relevant state-of-the-art methods in both accuracy and efficiency. The dataset and source code of the proposed method will be available at https://github.com/jianjin008/.
updated: Fri Jan 07 2022 12:12:41 GMT+0000 (UTC)
published: Fri Jan 07 2022 12:12:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト