arXiv reaDer
詳細合成と伝播のためのGANを使用したニューラルビデオ圧縮
Neural Video Compression using GANs for Detail Synthesis and Propagation
生成的敵対的ネットワーク(GAN)に基づく最初のニューラルビデオ圧縮方法を紹介します。私たちのアプローチは、ユーザー調査において以前のニューラルおよび非ニューラルビデオ圧縮方式を大幅に上回り、ニューラル方式の視覚品質に新しい最先端を設定します。この高い視覚品質を得るには、GANの損失が重要であることを示します。 2つのコンポーネントにより、GAN損失が効果的になります。つまり、i)ワープされた前の再構成から抽出された潜在性でジェネレータを調整して詳細を合成し、ii)この詳細を高品質のフローで伝播します。メソッドを比較するにはユーザー調査が必要であることがわかりました。つまり、すべての調査を予測できる定量的指標はありませんでした。ネットワーク設計の選択を詳細に提示し、ユーザー調査でそれらを除去します。
We present the first neural video compression method based on generative adversarial networks (GANs). Our approach significantly outperforms previous neural and non-neural video compression methods in a user study, setting a new state-of-the-art in visual quality for neural methods. We show that the GAN loss is crucial to obtain this high visual quality. Two components make the GAN loss effective: we i) synthesize detail by conditioning the generator on a latent extracted from the warped previous reconstruction to then ii) propagate this detail with high-quality flow. We find that user studies are required to compare methods, i.e., none of our quantitative metrics were able to predict all studies. We present the network design choices in detail, and ablate them with user studies.
updated: Tue Nov 23 2021 14:39:15 GMT+0000 (UTC)
published: Mon Jul 26 2021 08:53:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト