arXiv reaDer
テキストによる評価によるゼロショットのデジタル人間品質評価の推進
Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation
デジタル ヒューマンはさまざまな分野で広範囲に応用されており、関連する品質評価研究が必要になっています。しかし、包括的なデジタル ヒューマン品質評価 (DHQA) データベースが不足しています。このギャップに対処するために、私たちは全身デジタル ヒューマン向けに特別に設計された主観的品質評価データベースである SJTU-H3D を提案します。これは、40 人の高品質リファレンス デジタル ヒューマンと、7 種類の歪みで生成された 1,120 人のラベル付き歪み対応物で構成されています。 SJTU-H3D データベースは DHQA 研究のベンチマークとして機能し、処理アルゴリズムの評価と改良を可能にします。さらに、データベースのバイアスを軽減しながら汎化機能を確保するために、参照なし (NR) シナリオに焦点を当てたゼロショット DHQA アプローチを提案します。私たちの方法は、投影から抽出された意味論的特徴と歪み特徴、およびデジタル ヒューマンのメッシュ構造から派生した幾何学的特徴を活用します。具体的には、Contrastive Language-Image Pre-training (CLIP) モデルを使用して意味的類似性を測定し、Naturalness Image Quality Evaluator (NIQE) モデルを組み込んで低レベルの歪み情報をキャプチャします。さらに、メッシュの特徴を抽出するためのジオメトリ記述子として二面角を利用します。これらの測定値を集約することで、ゼロショット パフォーマンスの大幅な向上を実証するデジタル ヒューマン クオリティ インデックス (DHQI) を導入します。 DHQI は、DHQA タスクの堅牢なベースラインとしても機能し、この分野の進歩を促進します。データベースとコードは https://github.com/zzc-1998/SJTU-H3D で入手できます。
Digital humans have witnessed extensive applications in various domains, necessitating related quality assessment studies. However, there is a lack of comprehensive digital human quality assessment (DHQA) databases. To address this gap, we propose SJTU-H3D, a subjective quality assessment database specifically designed for full-body digital humans. It comprises 40 high-quality reference digital humans and 1,120 labeled distorted counterparts generated with seven types of distortions. The SJTU-H3D database can serve as a benchmark for DHQA research, allowing evaluation and refinement of processing algorithms. Further, we propose a zero-shot DHQA approach that focuses on no-reference (NR) scenarios to ensure generalization capabilities while mitigating database bias. Our method leverages semantic and distortion features extracted from projections, as well as geometry features derived from the mesh structure of digital humans. Specifically, we employ the Contrastive Language-Image Pre-training (CLIP) model to measure semantic affinity and incorporate the Naturalness Image Quality Evaluator (NIQE) model to capture low-level distortion information. Additionally, we utilize dihedral angles as geometry descriptors to extract mesh features. By aggregating these measures, we introduce the Digital Human Quality Index (DHQI), which demonstrates significant improvements in zero-shot performance. The DHQI can also serve as a robust baseline for DHQA tasks, facilitating advancements in the field. The database and the code are available at https://github.com/zzc-1998/SJTU-H3D.
updated: Thu Jul 06 2023 06:55:30 GMT+0000 (UTC)
published: Thu Jul 06 2023 06:55:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト