arXiv reaDer
Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models
ブラインド ビデオ品質評価 (BVQA) は、現実世界のさまざまなビデオ対応メディア アプリケーションにおけるエンド ユーザーの視聴エクスペリエンスを監視し、改善する上で不可欠な役割を果たします。実験分野として、BVQA モデルの改善は主に人間が評価した少数の VQA データセットで測定されてきました。したがって、BVQA の現在の進歩を適切に評価するには、既存の VQA データセットをより深く理解することが重要です。この目標に向けて、私たちは最小限の BVQA モデルを設計することで、この種では初となる VQA データセットの計算分析を実行します。最小限にすることで、BVQA モデルのファミリーを、ビデオ プリプロセッサ (積極的な時空間ダウンサンプリング用)、空間品質アナライザー、オプションの時間品質アナライザー、および品質リグレッサーという基本ブロックのみに基づいて構築するように制限し、すべて可能な限り単純なインスタンス化を行います。現実的な歪みを伴う 8 つの VQA データセット上のさまざまなモデル バリアントの品質予測パフォーマンスを比較すると、ほぼすべてのデータセットが、さまざまな重大度の簡単なデータセット問題に悩まされており、その一部にはブラインド画質評価 (BIQA) ソリューションさえも認められていることがわかります。さらに、これらの VQA データセットに関するモデルの一般化可能性を対比し、基本的な構成要素に関連する一連の目まぐるしい BVQA 設計の選択肢を除去することによって、私たちの主張を正当化します。私たちの結果は、BVQA の現在の進歩に疑問を投げかけると同時に、次世代の VQA データセットとモデルを構築するための優れた実践方法に光を当てました。
Blind video quality assessment (BVQA) plays an indispensable role in monitoring and improving the end-users' viewing experience in various real-world video-enabled media applications. As an experimental field, the improvements of BVQA models have been measured primarily on a few human-rated VQA datasets. Thus, it is crucial to gain a better understanding of existing VQA datasets in order to properly evaluate the current progress in BVQA. Towards this goal, we conduct a first-of-its-kind computational analysis of VQA datasets via designing minimalistic BVQA models. By minimalistic, we restrict our family of BVQA models to build only upon basic blocks: a video preprocessor (for aggressive spatiotemporal downsampling), a spatial quality analyzer, an optional temporal quality analyzer, and a quality regressor, all with the simplest possible instantiations. By comparing the quality prediction performance of different model variants on eight VQA datasets with realistic distortions, we find that nearly all datasets suffer from the easy dataset problem of varying severity, some of which even admit blind image quality assessment (BIQA) solutions. We additionally justify our claims by contrasting our model generalizability on these VQA datasets, and by ablating a dizzying set of BVQA design choices related to the basic building blocks. Our results cast doubt on the current progress in BVQA, and meanwhile shed light on good practices of constructing next-generation VQA datasets and models.
updated: Wed Apr 03 2024 08:04:55 GMT+0000 (UTC)
published: Wed Jul 26 2023 06:38:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト