ビデオフレームの送信遅延は、オンラインビデオゲームやライブショーなどのリアルタイムアプリケーションで重要です。新しいフレームの受信期限は、フレームのレンダリング時間に追いつく必要があります。そうしないと、システムがしばらくバッファリングし、ユーザーに画面がフリーズして、ユーザーエクスペリエンスが不十分になります。効果的なアプローチは、スケーラブルなビデオコーディングを使用するなど、低帯域幅の条件下で低品質でフレームを送信することです。この論文では、2つの状況で損失のあるフレームを使用してビデオ品質を向上させることを提案します。まず、現在のフレームが期限をレンダリングする前に受信するには遅すぎる場合(つまり、失われた場合)、以前に受信した高解像度画像を使用して将来のフレームを予測することを提案します。次に、現在受信しているフレームの品質が低い場合(つまり、損失が多い場合)、以前に受信した高解像度フレームを使用して、現在受信している低品質のフレームを強化することを提案します。最初のケースでは、小さいながらも効果的なビデオフレーム予測ネットワークを提案します。 2番目のケースでは、ビデオ予測ネットワークをビデオエンハンスメントネットワークに改善して、現在のフレームと前のフレームを関連付け、高品質の画像を復元します。広範な実験結果は、私たちの方法が損失の多いビデオストリーミング環境で最先端のアルゴリズムに対して有利に機能することを示しています。
Video frame transmission delay is critical in real-time applications such as online video gaming, live show, etc. The receiving deadline of a new frame must catch up with the frame rendering time. Otherwise, the system will buffer a while, and the user will encounter a frozen screen, resulting in unsatisfactory user experiences. An effective approach is to transmit frames in lower-quality under poor bandwidth conditions, such as using scalable video coding. In this paper, we propose to enhance video quality using lossy frames in two situations. First, when current frames are too late to receive before rendering deadline (i.e., lost), we propose to use previously received high-resolution images to predict the future frames. Second, when the quality of the currently received frames is low~(i.e., lossy), we propose to use previously received high-resolution frames to enhance the low-quality current ones. For the first case, we propose a small yet effective video frame prediction network. For the second case, we improve the video prediction network to a video enhancement network to associate current frames as well as previous frames to restore high-quality images. Extensive experimental results demonstrate that our method performs favorably against state-of-the-art algorithms in the lossy video streaming environment.