この作業は、ビデオ品質が著しく損なわれる低ビットレート ビデオ ストリーミング シナリオ (50 ~ 200Kbps など) に焦点を当てています。圧縮アーティファクトを除去しながら超解像を実行することにより、このようなストリームの知覚ビデオ品質を向上させるための、新しい深層生成モデルのファミリーを紹介します。 SuperTran と呼ばれる私たちのモデルは、低品質、低解像度のビデオ ストリームに加えて、単一の高品質、高解像度の参照画像を入力として消費します。したがって、モデルは、参照画像からテクスチャなどの視覚要素を借用またはコピーし、低解像度ストリームから残りの詳細を埋める方法を学習して、知覚的に強化された出力ビデオを生成します。参照フレームは、ビデオ セッションの開始時に 1 回送信するか、ギャラリーから取得できます。重要なことに、結果として得られる出力は、SuperVEGAN メソッドなどの低解像度入力のみを使用するメソッドで可能だったものよりも大幅に詳細になります。 SuperTran は、クラウド上で標準パイプラインと並行してリアルタイム (最大 30 フレーム/秒) で動作します。
This work focuses on low bitrate video streaming scenarios (e.g. 50 - 200Kbps) where the video quality is severely compromised. We present a family of novel deep generative models for enhancing perceptual video quality of such streams by performing super-resolution while also removing compression artifacts. Our model, which we call SuperTran, consumes as input a single high-quality, high-resolution reference images in addition to the low-quality, low-resolution video stream. The model thus learns how to borrow or copy visual elements like textures from the reference image and fill in the remaining details from the low resolution stream in order to produce perceptually enhanced output video. The reference frame can be sent once at the start of the video session or be retrieved from a gallery. Importantly, the resulting output has substantially better detail than what has been otherwise possible with methods that only use a low resolution input such as the SuperVEGAN method. SuperTran works in real-time (up to 30 frames/sec) on the cloud alongside standard pipelines.