arXiv reaDer
画像およびビデオ ストリーミング システムのディープ ニューラル ネットワーク ベースの拡張: 調査と今後の方向性
Deep Neural Network-based Enhancement for Image and Video Streaming Systems: A Survey and Future Directions
インターネット対応のスマートフォンと超ワイド ディスプレイは、オンデマンドの映画や 360° ビデオからビデオ会議やライブ ストリーミングに至るまで、さまざまなビジュアル アプリを変革しています。ただし、変動するネットワーク条件の下でさまざまな機能のデバイスでビジュアル コンテンツを確実に配信することは、未解決の問題のままです。近年、超解像や画像強調などのタスクに関する深層学習の進歩により、低品質の画像から高品質の画像を生成する前例のないパフォーマンスが実現しました。これは、ニューラル拡張と呼ばれるプロセスです。この論文では、高速応答時間と高い視覚的品質の両方を達成するための重要なコンポーネントとして神経強化を採用する最先端のコンテンツ配信システムについて調査します。まず、既存のコンテンツ配信システムのコンポーネントとアーキテクチャを示し、それらの課題を強調し、対策として神経強化モデルの使用を動機付けます。次に、これらのモデルの展開の課題を取り上げ、既存のシステムとその設計上の決定を分析して、これらの技術的な課題を効率的に克服します。さらに、さまざまなユースケースを対象とするシステム全体での主要な傾向と一般的なアプローチを強調します。最後に、コンテンツ配信システムのエクスペリエンスの質をさらに向上させるために、ディープラーニングの研究から得られた最新の洞察に基づいて、有望な将来の方向性を示します。
Internet-enabled smartphones and ultra-wide displays are transforming a variety of visual apps spanning from on-demand movies and 360° videos to video-conferencing and live streaming. However, robustly delivering visual content under fluctuating networking conditions on devices of diverse capabilities remains an open problem. In recent years, advances in the field of deep learning on tasks such as super-resolution and image enhancement have led to unprecedented performance in generating high-quality images from low-quality ones, a process we refer to as neural enhancement. In this paper, we survey state-of-the-art content delivery systems that employ neural enhancement as a key component in achieving both fast response time and high visual quality. We first present the components and architecture of existing content delivery systems, highlighting their challenges and motivating the use of neural enhancement models as a countermeasure. We then cover the deployment challenges of these models and analyze existing systems and their design decisions in efficiently overcoming these technical challenges. Additionally, we underline the key trends and common approaches across systems that target diverse use-cases. Finally, we present promising future directions based on the latest insights from deep learning research to further boost the quality of experience of content delivery systems.
updated: Mon Jun 07 2021 15:42:36 GMT+0000 (UTC)
published: Mon Jun 07 2021 15:42:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト