この作業では、ビデオ会議アプリケーション用の超低ビットレートビデオ圧縮のための新しい深層学習アプローチを提案します。利用可能な帯域幅が極端に制限されている場合の現在のビデオ圧縮パラダイムの欠点に対処するために、ディープニューラルネットワークを使用してモーション情報をキーポイント変位としてエンコードし、デコーダー側でビデオ信号を再構築するモデルベースのアプローチを採用しています。システム全体はエンドツーエンドでトレーニングされ、エンコーダ出力の再構成エラーを最小限に抑えます。客観的および主観的な品質評価実験は、提案されたアプローチが、HEVCと比較して80%を超える同じ視覚的品質に対して平均ビットレートの削減を提供することを示しています。
In this work we propose a novel deep learning approach for ultra-low bitrate video compression for video conferencing applications. To address the shortcomings of current video compression paradigms when the available bandwidth is extremely limited, we adopt a model-based approach that employs deep neural networks to encode motion information as keypoint displacement and reconstruct the video signal at the decoder side. The overall system is trained in an end-to-end fashion minimizing a reconstruction error on the encoder output. Objective and subjective quality evaluation experiments demonstrate that the proposed approach provides an average bitrate reduction for the same visual quality of more than 80% compared to HEVC.