arXiv reaDer
Gemino: ビデオ会議用の実用的で堅牢なニューラル圧縮
Gemino: Practical and Robust Neural Compression for Video Conferencing
現在のビデオ コーデックは極端に低いビットレートでは動作できないため、ネットワーク状態が悪化するとビデオ会議システムのユーザー エクスペリエンスが低下します。最近、顔のランドマーク情報などの各フレームのまばらな表現を使用して、非常に低いビットレートでトーキング ヘッド ビデオを再構築するニューラルの代替案がいくつか提案されています。ただし、これらのアプローチでは、通話中に大きな動きやオクルージョンがあるシナリオでは再構築が不十分であり、より高い解像度には拡張できません。私たちは、新しい高周波数条件付き超解像度パイプラインに基づいたビデオ会議用の新しいニューラル圧縮システムである Gemino を設計します。 Gemino は、単一の高解像度参照画像から抽出された情報に基づいて高周波の詳細 (肌の質感、髪など) を強調しながら、各ターゲット フレームの非常に低解像度のバージョンをアップサンプリングします。当社では、モデルのさまざまなコンポーネントをさまざまな解像度で実行するマルチスケール アーキテクチャを使用し、720p に匹敵する解像度まで拡張できるようにし、モデルをパーソナライズして各人の特定の詳細を学習し、低ビットレートではるかに優れた忠実度を実現します。 WebRTC のオープンソース Python 実装である aiortc 上に Gemino を実装し、Titan X GPU 上で 1024x1024 ビデオをリアルタイムで動作させ、同じ知覚品質で従来のビデオ コーデックよりも 2.2 ~ 5 倍低いビットレートを達成することを示します。
Video conferencing systems suffer from poor user experience when network conditions deteriorate because current video codecs simply cannot operate at extremely low bitrates. Recently, several neural alternatives have been proposed that reconstruct talking head videos at very low bitrates using sparse representations of each frame such as facial landmark information. However, these approaches produce poor reconstructions in scenarios with major movement or occlusions over the course of a call, and do not scale to higher resolutions. We design Gemino, a new neural compression system for video conferencing based on a novel high-frequency-conditional super-resolution pipeline. Gemino upsamples a very low-resolution version of each target frame while enhancing high-frequency details (e.g., skin texture, hair, etc.) based on information extracted from a single high-resolution reference image. We use a multi-scale architecture that runs different components of the model at different resolutions, allowing it to scale to resolutions comparable to 720p, and we personalize the model to learn specific details of each person, achieving much better fidelity at low bitrates. We implement Gemino atop aiortc, an open-source Python implementation of WebRTC, and show that it operates on 1024x1024 videos in real-time on a Titan X GPU, and achieves 2.2-5x lower bitrate than traditional video codecs for the same perceptual quality.
updated: Thu Oct 19 2023 21:25:28 GMT+0000 (UTC)
published: Wed Sep 21 2022 17:10:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト