画像の超解像は、低解像度の画像やビデオ フレームをアップスケールして強化する必要があるモバイル デバイスや IoT デバイスで一般的なタスクです。過去にこの問題に対して多数の解決策が提案されてきましたが、それらは通常、多くの計算およびメモリの制約がある低電力のモバイル NPU と互換性がありません。このモバイル AI チャレンジでは、この問題に対処し、モバイル NPU でリアルタイムのパフォーマンスを実証できる効率的な量子化画像超解像ソリューションを設計することを参加者に提案します。参加者には、DIV2K データセットが提供され、高品質の 3 倍の画像アップスケーリングを行うようにトレーニングされた INT8 モデルが提供されました。すべてのモデルの実行時間は、量子化されたニューラル ネットワークを加速できる専用のエッジ NPU を備えた Synaptics VS680 Smart Home ボードで評価されました。提案されたすべてのソリューションは、上記の NPU と完全に互換性があり、フル HD 解像度の画像を再構築する際に最大 60 FPS レートを示します。チャレンジで開発されたすべてのモデルの詳細な説明は、このホワイト ペーパーで提供されます。
Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.