arXiv reaDer
ディープラーニングを備えたスマートフォンでのリアルタイムビデオ超解像、モバイルAI 2021チャレンジ:レポート
Real-Time Video Super-Resolution on Smartphones with Deep Learning, Mobile AI 2021 Challenge: Report
ビデオの超解像は、ビデオ通信とストリーミングサービスの台頭により、最近、モバイル関連の最も重要な問題の1つになっています。このタスクには多くのソリューションが提案されていますが、それらの大部分は計算コストが高すぎて、ハードウェアリソースが限られているポータブルデバイスで実行できません。この問題に対処するために、最初のモバイルAIの課題を紹介します。この課題では、モバイルGPUでリアルタイムのパフォーマンスを実現できるエンドツーエンドのディープラーニングベースのビデオ超解像ソリューションを開発することを目標としています。参加者にはREDSデータセットが提供され、効率的な4Xビデオアップスケーリングを実行するようにモデルをトレーニングしました。すべてのモデルのランタイムは、AdrenoGPUで浮動小数点ネットワークを高速化できるSnapdragon865SoCを搭載したOPPOFindX2スマートフォンで評価されました。提案されたソリューションは、あらゆるモバイルGPUと完全に互換性があり、高忠実度の結果を示しながら、ビデオを最大80FPSでHD解像度にアップスケールできます。チャレンジで開発されたすべてのモデルの詳細な説明は、このペーパーで提供されます。
Video super-resolution has recently become one of the most important mobile-related problems due to the rise of video communication and streaming services. While many solutions have been proposed for this task, the majority of them are too computationally expensive to run on portable devices with limited hardware resources. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based video super-resolution solutions that can achieve a real-time performance on mobile GPUs. The participants were provided with the REDS dataset and trained their models to do an efficient 4X video upscaling. The runtime of all models was evaluated on the OPPO Find X2 smartphone with the Snapdragon 865 SoC capable of accelerating floating-point networks on its Adreno GPU. The proposed solutions are fully compatible with any mobile GPU and can upscale videos to HD resolution at up to 80 FPS while demonstrating high fidelity results. A detailed description of all models developed in the challenge is provided in this paper.
updated: Mon May 17 2021 13:40:50 GMT+0000 (UTC)
published: Mon May 17 2021 13:40:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト