arXiv reaDer
ユーザー生成コンテンツの視聴覚品質評価: データベースと方法
Audio-Visual Quality Assessment for User Generated Content: Database and Method
ユーザー生成コンテンツ (UGC) の爆発的な増加に伴い、ユーザーの体験の質 (QoE) を向上させるために、UGC ビデオ品質評価 (VQA) がますます重要になっています。ただし、ほとんどの既存の UGC VQA 研究は、ビデオの視覚的な歪みのみに焦点を当てており、ユーザーの QoE が付随するオーディオ信号にも依存することを無視しています。このホワイト ペーパーでは、UGC のオーディオとビデオの品質評価 (AVQA) の問題に対処するための最初の研究を行います。具体的には、SJTU-UAV データベースという名前の最初の UGC AVQA データベースを構築します。このデータベースには、520 の実際の UGC オーディオおよびビデオ (A/V) シーケンスが含まれており、A/ V シーケンス。次に、SJTU-UAV データベースのコンテンツをオーディオとビデオの両方の側面から分析して、データベースの特性を示します。また、サポート ベクター リグレッサー (SVR) を介して一般的な VQA メソッドとオーディオ機能を融合する AVQA モデルのファミリも設計しています。 3 つのデータベースで提案されたモデルの有効性を検証します。実験結果は、オーディオ信号の助けを借りて、VQA モデルが知覚品質をより正確に評価できることを示しています。データベースは、さらなる研究を容易にするためにリリースされます。
With the explosive increase of User Generated Content (UGC), UGC video quality assessment (VQA) becomes more and more important for improving users' Quality of Experience (QoE). However, most existing UGC VQA studies only focus on the visual distortions of videos, ignoring that the user's QoE also depends on the accompanying audio signals. In this paper, we conduct the first study to address the problem of UGC audio and video quality assessment (AVQA). Specifically, we construct the first UGC AVQA database named the SJTU-UAV database, which includes 520 in-the-wild UGC audio and video (A/V) sequences, and conduct a user study to obtain the mean opinion scores of the A/V sequences. The content of the SJTU-UAV database is then analyzed from both the audio and video aspects to show the database characteristics. We also design a family of AVQA models, which fuse the popular VQA methods and audio features via support vector regressor (SVR). We validate the effectiveness of the proposed models on the three databases. The experimental results show that with the help of audio signals, the VQA models can evaluate the perceptual quality more accurately. The database will be released to facilitate further research.
updated: Sat Mar 04 2023 11:49:42 GMT+0000 (UTC)
published: Sat Mar 04 2023 11:49:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト