arXiv reaDer
FloLPIPS:フレームインターポレーション用の特注のビデオ品質メトリック
FloLPIPS: A Bespoke Video Quality Metric for Frame Interpoation
ビデオフレーム補間(VFI)は、多くのビデオ処理アプリケーションで役立つツールとして機能します。最近では、従来のビデオコーデックと学習ベースの圧縮アーキテクチャの両方を強化するために、ビデオ圧縮ドメインにも適用されています。近年、強化されたフレーム補間アルゴリズムの開発にますます焦点が当てられていますが、補間されたコンテンツの知覚品質評価は、依然としてオープンな研究分野です。このホワイトペーパーでは、VFIの特注の完全なリファレンスビデオ品質メトリックであるFloLPIPSを紹介します。これは、抽出された画像特徴空間の知覚劣化をキャプチャする、一般的な知覚画質メトリックであるLPIPSに基づいています。補間されたコンテンツを評価するためのLPIPSのパフォーマンスを向上させるために、時間的歪みを使用して(オプティカルフローの比較を通じて)空間的特徴集約ステップを再設計し、特徴差マップに重みを付けました。 FloLPIPSは、さまざまなフレーム補間アーティファクトを含む180のテストシーケンスを含むBVI-VFIデータベースで評価され、12の一般的な品質評価者よりも優れた相関パフォーマンス(統計的有意性)を示します。 VFI品質評価のさらなる調査を容易にするために、私たちのコードはhttps://danielism97.github.io/FloLPIPSで公開されています。
Video frame interpolation (VFI) serves as a useful tool for many video processing applications. Recently, it has also been applied in the video compression domain for enhancing both conventional video codecs and learning-based compression architectures. While there has been an increased focus on the development of enhanced frame interpolation algorithms in recent years, the perceptual quality assessment of interpolated content remains an open field of research. In this paper, we present a bespoke full reference video quality metric for VFI, FloLPIPS, that builds on the popular perceptual image quality metric, LPIPS, which captures the perceptual degradation in extracted image feature space. In order to enhance the performance of LPIPS for evaluating interpolated content, we re-designed its spatial feature aggregation step by using the temporal distortion (through comparing optical flows) to weight the feature difference maps. Evaluated on the BVI-VFI database, which contains 180 test sequences with various frame interpolation artefacts, FloLPIPS shows superior correlation performance (with statistical significance) with subjective ground truth over 12 popular quality assessors. To facilitate further research in VFI quality assessment, our code is publicly available at https://danielism97.github.io/FloLPIPS.
updated: Sun Jul 17 2022 09:07:33 GMT+0000 (UTC)
published: Sun Jul 17 2022 09:07:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト