ビデオの超解像は、モバイル デバイスで最も一般的なタスクの 1 つであり、低ビットレートおよび低解像度のビデオ ストリームの自動改善に広く使用されています。この問題に対して多数の解決策が提案されていますが、それらは通常、非常に計算量が多く、モバイル デバイスでの低い FPS レートと電力効率を示しています。このモバイル AI チャレンジでは、この問題に対処し、低エネルギー消費に最適化されたモバイル NPU 向けのエンド ツー エンドのリアルタイム ビデオ超解像度ソリューションを設計することを参加者に提案します。参加者には、4X ビデオ アップスケーリング タスクのビデオ シーケンスを含む REDS トレーニング データセットが提供されました。すべてのモデルの実行時間と電力効率は、浮動小数点および量子化されたニューラル ネットワークを高速化できる専用の AI 処理ユニットを備えた強力な MediaTek Dimensity 9000 プラットフォームで評価されました。提案されたすべてのソリューションは、上記の NPU と完全に互換性があり、最大 500 FPS レートと 0.2 [Watt / 30 FPS] の消費電力を示します。チャレンジで開発されたすべてのモデルの詳細な説明は、このホワイト ペーパーで提供されます。
Video super-resolution is one of the most popular tasks on mobile devices, being widely used for an automatic improvement of low-bitrate and low-resolution video streams. While numerous solutions have been proposed for this problem, they are usually quite computationally demanding, demonstrating low FPS rates and power efficiency on mobile devices. In this Mobile AI challenge, we address this problem and propose the participants to design an end-to-end real-time video super-resolution solution for mobile NPUs optimized for low energy consumption. The participants were provided with the REDS training dataset containing video sequences for a 4X video upscaling task. The runtime and power efficiency of all models was evaluated on the powerful MediaTek Dimensity 9000 platform with a dedicated AI processing unit capable of accelerating floating-point and quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 500 FPS rate and 0.2 [Watt / 30 FPS] power consumption. A detailed description of all models developed in the challenge is provided in this paper.