arXiv reaDer
3Dカラーポイントクラウドおよびメッシュモデルの非参照品質評価
No-Reference Quality Assessment for 3D Colored Point Cloud and Mesh Models
視聴者の体験の質(QoE)を改善し、コンピューターグラフィックスアプリケーションを最適化するために、3Dモデルの品質評価(3D-QA)がマルチメディア分野で重要なタスクになっています。点群とメッシュは、3Dモデルで最も広く使用されている2つのデジタル表現形式であり、その視覚的品質は、単純化や圧縮などの不可逆操作に非常に敏感です。したがって、3Dモデルの視覚的品質の低下を測定するために、点群品質評価(PCQA)やメッシュ品質評価(MQA)などの多くの関連する研究が実施されてきました。ただし、以前の研究の大部分は完全参照(FR)メトリックを利用しており、参照3Dモデルがないと品質レベルを予測できないことを示しています。さらに、色情報を考慮している3D-QAメトリックはほとんどないため、その有効性と適用範囲が大幅に制限されます。この論文では、点群とメッシュの両方で表されるカラー3Dモデルの参照なし(NR)品質評価メトリックを提案します。まず、3D空間から3Dモデルを品質関連のジオメトリと色の特徴ドメインに投影します。次に、3D自然シーン統計(3D-NSS)とエントロピーを利用して、品質を意識した特徴を抽出します。最後に、機械学習を使用して、品質認識機能を視覚的な品質スコアに回帰します。私たちの方法は、カラーポイントクラウド品質評価データベース(SJTU-PCQA)、ウォータールーポイントクラウド評価データベース(WPC)、およびカラーメッシュ品質評価データベース(CMDM)で検証されています。実験結果は、提案された方法が、競合する計算リソースを備えたほとんどの比較されたNR 3D-QAメトリックを上回り、最先端のFR3D-QAメトリックとのパフォーマンスギャップを大幅に削減することを示しています。提案されたモデルのコードは、さらなる研究を容易にするために現在公開されています。
To improve the viewer's Quality of Experience (QoE) and optimize computer graphics applications, 3D model quality assessment (3D-QA) has become an important task in the multimedia area. Point cloud and mesh are the two most widely used digital representation formats of 3D models, the visual quality of which is quite sensitive to lossy operations like simplification and compression. Therefore, many related studies such as point cloud quality assessment (PCQA) and mesh quality assessment (MQA) have been carried out to measure the visual quality degradations of 3D models. However, a large part of previous studies utilize full-reference (FR) metrics, which indicates they can not predict the quality level with the absence of the reference 3D model. Furthermore, few 3D-QA metrics consider color information, which significantly restricts their effectiveness and scope of application. In this paper, we propose a no-reference (NR) quality assessment metric for colored 3D models represented by both point cloud and mesh. First, we project the 3D models from 3D space into quality-related geometry and color feature domains. Then, the 3D natural scene statistics (3D-NSS) and entropy are utilized to extract quality-aware features. Finally, machine learning is employed to regress the quality-aware features into visual quality scores. Our method is validated on the colored point cloud quality assessment database (SJTU-PCQA), the Waterloo point cloud assessment database (WPC), and the colored mesh quality assessment database (CMDM). The experimental results show that the proposed method outperforms most compared NR 3D-QA metrics with competitive computational resources and greatly reduces the performance gap with the state-of-the-art FR 3D-QA metrics. The code of the proposed model is publicly available now to facilitate further research.
updated: Sat Feb 12 2022 12:30:08 GMT+0000 (UTC)
published: Mon Jul 05 2021 14:03:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト