arXiv reaDer
圧縮されたビデオの知覚に触発された超解像
Perceptually-inspired super-resolution of compressed videos
空間分解能の適応は、コーディング効率を高めるためにビデオ圧縮でよく使用される手法です。このアプローチは、入力ビデオの低解像度バージョンをエンコードし、デコード中に元の解像度を再構築します。最近の研究では、従来のアップサンプリングフィルターを使用する代わりに、畳み込みニューラルネットワーク(CNN)に基づく高度な超解像法を採用して、再構成の品質をさらに向上させています。これらのアプローチは通常、平均二乗誤差(MSE)などのピクセルベースの損失を最小限に抑えるようにトレーニングされていますが、このタイプの損失メトリックは主観的な意見とはあまり相関していません。この論文では、知覚に触発された超解像アプローチ(M-SRGAN)を、知覚を伴う圧縮コンテンツで生成的敵対的ネットワーク(GAN)を使用してトレーニングされた修正CNNモデルを使用した圧縮ビデオの空間アップサンプリングに提案します。損失関数。提案された方法は、HEVC HM 16.20と統合され、ランダムアクセス構成を使用してJVET共通テスト条件(UHDテストシーケンス)で評価されました。結果は、元のHM 16.20に比べて明らかな知覚品質の改善を示しており、知覚品質メトリックであるVMAFに基づく平均ビットレートの節約は35.6%(Bj \ ontegaard Delta測定)です。
Spatial resolution adaptation is a technique which has often been employed in video compression to enhance coding efficiency. This approach encodes a lower resolution version of the input video and reconstructs the original resolution during decoding. Instead of using conventional up-sampling filters, recent work has employed advanced super-resolution methods based on convolutional neural networks (CNNs) to further improve reconstruction quality. These approaches are usually trained to minimise pixel-based losses such as Mean-Squared Error (MSE), despite the fact that this type of loss metric does not correlate well with subjective opinions. In this paper, a perceptually-inspired super-resolution approach (M-SRGAN) is proposed for spatial up-sampling of compressed video using a modified CNN model, which has been trained using a generative adversarial network (GAN) on compressed content with perceptual loss functions. The proposed method was integrated with HEVC HM 16.20, and has been evaluated on the JVET Common Test Conditions (UHD test sequences) using the Random Access configuration. The results show evident perceptual quality improvement over the original HM 16.20, with an average bitrate saving of 35.6% (Bj\ontegaard Delta measurement) based on a perceptual quality metric, VMAF.
updated: Tue Jun 15 2021 13:50:24 GMT+0000 (UTC)
published: Tue Jun 15 2021 13:50:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト