arXiv reaDer
スリム化可能なビデオコーデック
Slimmable Video Codec
ニューラルビデオ圧縮は、トレーニング可能な多層ニューラルネットワークと機械学習を組み合わせた新しいパラダイムとして登場し、競争力のあるレート歪み(RD)パフォーマンスを実現しますが、大きなメモリと計算要求を伴う重いニューラルアーキテクチャのため、依然として実用的ではありません。さらに、モデルは通常、単一のRDトレードオフ用に最適化されています。最近のスリミング可能なイメージコーデックは、モデル容量を動的に調整して、RDのパフォーマンスを損なうことなく、メモリと計算の要件を適切に削減できます。この論文では、スリム化可能な時間エントロピーモデルをスリム化可能なオートエンコーダに統合することにより、スリム化可能なビデオコーデック(SlimVC)を提案します。アーキテクチャが非常に複雑であるにもかかわらず、スリミングは、レート、メモリフットプリント、計算コスト、および遅延を制御するための強力なメカニズムであり、すべてが実用的なビデオ圧縮の重要な要件であることを示しています。
Neural video compression has emerged as a novel paradigm combining trainable multilayer neural networks and machine learning, achieving competitive rate-distortion (RD) performances, but still remaining impractical due to heavy neural architectures, with large memory and computational demands. In addition, models are usually optimized for a single RD tradeoff. Recent slimmable image codecs can dynamically adjust their model capacity to gracefully reduce the memory and computation requirements, without harming RD performance. In this paper we propose a slimmable video codec (SlimVC), by integrating a slimmable temporal entropy model in a slimmable autoencoder. Despite a significantly more complex architecture, we show that slimming remains a powerful mechanism to control rate, memory footprint, computational cost and latency, all being important requirements for practical video compression.
updated: Fri May 13 2022 16:37:27 GMT+0000 (UTC)
published: Fri May 13 2022 16:37:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト