arXiv reaDer
COMISR:圧縮情報に基づくビデオ超解像
COMISR: Compression-Informed Video Super-Resolution
ほとんどのビデオ超解像方法は、圧縮を考慮せずに低解像度ビデオから高解像度ビデオフレームを復元することに焦点を合わせています。ただし、Webまたはモバイルデバイス上のほとんどのビデオは圧縮されており、帯域幅が制限されている場合は圧縮が厳しくなる可能性があります。本論文では、圧縮によって引き起こされるアーティファクトを導入することなく高解像度コンテンツを復元するための新しい圧縮情報ビデオ超解像モデルを提案します。提案されたモデルは、ビデオ超解像のための3つのモジュールで構成されています。双方向の反復ワーピング、詳細を保持するフロー推定、およびラプラシアンエンハンスメントです。これら3つのモジュールはすべて、入力フレーム内のフレーム内の位置や出力フレーム内の滑らかさなどの圧縮プロパティを処理するために使用されます。徹底的なパフォーマンス評価のために、多くの実際のビデオのユースケースをカバーする、幅広い圧縮率の標準データセットで広範な実験を実施しました。私たちの方法は、広く使用されているベンチマークデータセットから非圧縮フレームの高解像度コンテンツを復元するだけでなく、多数の定量的メトリックに基づいて超解像度の圧縮ビデオで最先端のパフォーマンスを実現することを示しました。また、YouTubeからのストリーミングをシミュレートして提案された方法を評価し、その有効性と堅牢性を実証しました。ソースコードとトレーニング済みモデルは、https://github.com/google-research/google-research/tree/master/comisrで入手できます。
Most video super-resolution methods focus on restoring high-resolution video frames from low-resolution videos without taking into account compression. However, most videos on the web or mobile devices are compressed, and the compression can be severe when the bandwidth is limited. In this paper, we propose a new compression-informed video super-resolution model to restore high-resolution content without introducing artifacts caused by compression. The proposed model consists of three modules for video super-resolution: bi-directional recurrent warping, detail-preserving flow estimation, and Laplacian enhancement. All these three modules are used to deal with compression properties such as the location of the intra-frames in the input and smoothness in the output frames. For thorough performance evaluation, we conducted extensive experiments on standard datasets with a wide range of compression rates, covering many real video use cases. We showed that our method not only recovers high-resolution content on uncompressed frames from the widely-used benchmark datasets, but also achieves state-of-the-art performance in super-resolving compressed videos based on numerous quantitative metrics. We also evaluated the proposed method by simulating streaming from YouTube to demonstrate its effectiveness and robustness. The source codes and trained models are available at https://github.com/google-research/google-research/tree/master/comisr.
updated: Tue Oct 12 2021 05:16:39 GMT+0000 (UTC)
published: Tue May 04 2021 01:24:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト