arXiv reaDer
ドメイン適応による非参照点群品質評価
No-Reference Point Cloud Quality Assessment via Domain Adaptation
3Dポイントクラウド用の新しい非参照品質評価メトリックである画像転送ポイントクラウド品質評価(IT-PCQA)を紹介します。品質評価では、ディープニューラルネットワーク(DNN)は、参照なしのメトリック設計で魅力的なパフォーマンスを示しています。ただし、参照なしのPCQAの最も難しい問題は、堅牢なネットワークを駆動するための大規模な主観的データベースが不足していることです。私たちの動機は、品質評価のためのメディアの種類に関係なく、人間の視覚システム(HVS)が意思決定者であるということです。自然画像の豊富な主観スコアを活用して、DNNを介して人間の知覚の評価基準を探求し、予測機能を3D点群に転送できます。特に、自然画像をソースドメインとして扱い、点群をターゲットドメインとして扱い、教師なしの敵対的ドメイン適応を介して点群の品質を推測します。効果的な潜在特徴を抽出し、ドメインの不一致を最小限に抑えるために、階層的特徴エンコーダーと条件付き識別ネットワークを提案します。最終的な目的が客観的スコアの回帰であることを考慮して、条件付き識別ネットワークに新しい条件付きクロスエントロピー損失を導入して、品質回帰ネットワークの収束を妨げる負のサンプルにペナルティを課します。実験結果は、提案された方法が、完全参照メトリックと同等の結果でさえ、従来の非参照メトリックよりも高いパフォーマンスを達成できることを示しています。提案された方法はまた、高価で面倒な主観的評価なしに特定のメディアコンテンツの品質を評価する可能性を示唆している。コードはhttps://github.com/Qi-Yangsjtu/IT-PCQAで入手できます。
We present a novel no-reference quality assessment metric, the image transferred point cloud quality assessment (IT-PCQA), for 3D point clouds. For quality assessment, deep neural network (DNN) has shown compelling performance on no-reference metric design. However, the most challenging issue for no-reference PCQA is that we lack large-scale subjective databases to drive robust networks. Our motivation is that the human visual system (HVS) is the decision-maker regardless of the type of media for quality assessment. Leveraging the rich subjective scores of the natural images, we can quest the evaluation criteria of human perception via DNN and transfer the capability of prediction to 3D point clouds. In particular, we treat natural images as the source domain and point clouds as the target domain, and infer point cloud quality via unsupervised adversarial domain adaptation. To extract effective latent features and minimize the domain discrepancy, we propose a hierarchical feature encoder and a conditional-discriminative network. Considering that the ultimate purpose is regressing objective score, we introduce a novel conditional cross entropy loss in the conditional-discriminative network to penalize the negative samples which hinder the convergence of the quality regression network. Experimental results show that the proposed method can achieve higher performance than traditional no-reference metrics, even comparable results with full-reference metrics. The proposed method also suggests the feasibility of assessing the quality of specific media content without the expensive and cumbersome subjective evaluations. Code is available at https://github.com/Qi-Yangsjtu/IT-PCQA.
updated: Fri Mar 11 2022 14:53:09 GMT+0000 (UTC)
published: Mon Dec 06 2021 08:20:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト