arXiv reaDer
適応型ルックアップ テーブル フュージョンによるオンライン ビデオ ストリーミングの超解像度
Online Video Streaming Super-Resolution with Adaptive Look-Up Table Fusion
このホワイト ペーパーでは、オンライン ビデオ ストリーミング データの超解像に焦点を当てます。既存の超解像手法をビデオ ストリーミング データに適用することは、2 つの理由から簡単ではありません。まず、一定のインタラクションを伴うアプリケーションをサポートするために、ビデオ ストリーミングには高いレイテンシ要件があり、既存のほとんどの方法は、特にローエンド デバイスではあまり適用されません。第 2 に、既存のビデオ ストリーミング プロトコル (WebRTC など) はビデオ品質をネットワークの状態に動的に適応させるため、実際のビデオ ストリーミングはネットワーク帯域幅によって大きく異なり、多様で動的な劣化につながります。上記の 2 つの課題に取り組むために、オンライン ビデオ ストリーミング用の新しいビデオ超解像方法を提案しました。まず、ルックアップ テーブル (LUT) を軽量の畳み込みモジュールに組み込み、リアルタイムのレイテンシを実現します。次に、バリアントの劣化については、ピクセルレベルの LUT 融合戦略を提案します。この戦略では、異なる劣化データで事前トレーニングされた最先端の SR ネットワーク上に一連の LUT ベースが構築され、それらの LUT ベースが抽出されて結合されます。動的な劣化を適応的に処理するための軽量畳み込みモジュールからの重み。 LDV-WebRTC という名前の新しく提案されたオンライン ビデオ ストリーミング データセットに対して広範な実験が行われます。すべての結果は、私たちの方法が既存の LUT ベースの方法よりも大幅に優れており、効率的な CNN ベースの方法と比較して高速で競争力のある SR パフォーマンスを提供することを示しています。並列 LUT 推論で高速化された提案された方法は、約 100 FPS のオンライン 720P ビデオ SR をサポートすることさえできます。
This paper focuses on Super-resolution for online video streaming data. Applying existing super-resolution methods to video streaming data is non-trivial for two reasons. First, to support application with constant interactions, video streaming has a high requirement for latency that most existing methods are less applicable, especially on low-end devices. Second, existing video streaming protocols (e.g., WebRTC) dynamically adapt the video quality to the network condition, thus video streaming in the wild varies greatly under different network bandwidths, which leads to diverse and dynamic degradations. To tackle the above two challenges, we proposed a novel video super-resolution method for online video streaming. First, we incorporate Look-Up Table (LUT) to lightweight convolution modules to achieve real-time latency. Second, for variant degradations, we propose a pixel-level LUT fusion strategy, where a set of LUT bases are built upon state-of-the-art SR networks pre-trained on different degraded data, and those LUT bases are combined with extracted weights from lightweight convolution modules to adaptively handle dynamic degradations. Extensive experiments are conducted on a newly proposed online video streaming dataset named LDV-WebRTC. All the results show that our method significantly outperforms existing LUT-based methods and offers competitive SR performance with faster speed compared to efficient CNN-based methods. Accelerated with our parallel LUT inference, our proposed method can even support online 720P video SR around 100 FPS.
updated: Wed Mar 01 2023 08:54:56 GMT+0000 (UTC)
published: Wed Mar 01 2023 08:54:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト