arXiv reaDer
クラウド ゲーム向けのニューラル ビデオ リカバリ
Neural Video Recovery for Cloud Gaming
クラウド ゲームは数十億ドル規模の産業です。クラウド ゲームのクライアントは、その動きをインターネット上のゲーム サーバーに送信し、ゲーム サーバーがレンダリングして結果のビデオを送り返します。優れたゲーム体験を提供するには、遅延を 80 ミリ秒未満にする必要があります。これは、ビデオのレンダリング、エンコード、送信、デコード、表示をその時間枠内に完了する必要があることを意味しますが、サーバーの過負荷、ネットワークの輻輳、損失により、これを達成するのは特に困難です。この論文では、クラウド ゲームで失われたまたは破損したビデオ フレームを回復するための新しい方法を提案します。従来のビデオ フレームの回復とは異なり、私たちのアプローチはゲームの状態を使用して回復の精度を大幅に向上させ、部分的にデコードされたフレームを利用して失われた部分を回復します。私たちは、(i) ゲーム状態を効率的に抽出する、(ii) H.264 ビデオ デコーダを変更してビデオ フレームのどの部分を回復する必要があるかを示すマスクを生成する、(iii) 回復するための新しいニューラル ネットワークを設計する、から構成される総合的なシステムを開発します。完全なビデオ フレームまたは部分的なビデオ フレーム。私たちのアプローチは、iPhone 12 とラップトップの実装を使用して広範囲に評価され、ゲームビデオの回復におけるゲーム状態の有用性と全体的な設計の有効性を実証しています。
Cloud gaming is a multi-billion dollar industry. A client in cloud gaming sends its movement to the game server on the Internet, which renders and transmits the resulting video back. In order to provide a good gaming experience, a latency below 80 ms is required. This means that video rendering, encoding, transmission, decoding, and display have to finish within that time frame, which is especially challenging to achieve due to server overload, network congestion, and losses. In this paper, we propose a new method for recovering lost or corrupted video frames in cloud gaming. Unlike traditional video frame recovery, our approach uses game states to significantly enhance recovery accuracy and utilizes partially decoded frames to recover lost portions. We develop a holistic system that consists of (i) efficiently extracting game states, (ii) modifying H.264 video decoder to generate a mask to indicate which portions of video frames need recovery, and (iii) designing a novel neural network to recover either complete or partial video frames. Our approach is extensively evaluated using iPhone 12 and laptop implementations, and we demonstrate the utility of game states in the game video recovery and the effectiveness of our overall design.
updated: Sat Jul 15 2023 16:45:01 GMT+0000 (UTC)
published: Sat Jul 15 2023 16:45:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト