画像の超解像は、モバイルデバイスへの多くの重要なアプリケーションで最も一般的なコンピュータビジョンの問題の1つです。このタスクには多くのソリューションが提案されていますが、INT8推論のみをサポートすることが多い、より制約のあるスマートTVプラットフォームは言うまでもなく、通常、一般的なスマートフォンAIハードウェアに対しても最適化されていません。この問題に対処するために、最初のモバイルAIの課題を紹介します。この課題では、モバイルまたはエッジNPUでリアルタイムのパフォーマンスを実証できるエンドツーエンドのディープラーニングベースの画像超解像ソリューションを開発することを目標としています。このため、参加者にはDIV2Kデータセットが提供され、効率的な3X画像のアップスケーリングを行うための量子化モデルがトレーニングされました。すべてのモデルのランタイムは、量子化されたニューラルネットワークを加速できる専用のNPUを備えたSynapticsVS680スマートホームボードで評価されました。提案されたソリューションは、すべての主要なモバイルAIアクセラレーターと完全に互換性があり、高忠実度の結果を達成しながら、40〜60ミリ秒未満でフルHD画像を再構築することができます。チャレンジで開発されたすべてのモデルの詳細な説明は、このペーパーで提供されます。
Image super-resolution is one of the most popular computer vision problems with many important applications to mobile devices. While many solutions have been proposed for this task, they are usually not optimized even for common smartphone AI hardware, not to mention more constrained smart TV platforms that are often supporting INT8 inference only. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based image super-resolution solutions that can demonstrate a real-time performance on mobile or edge NPUs. For this, the participants were provided with the DIV2K dataset and trained quantized models to do an efficient 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated NPU capable of accelerating quantized neural networks. The proposed solutions are fully compatible with all major mobile AI accelerators and are capable of reconstructing Full HD images under 40-60 ms while achieving high fidelity results. A detailed description of all models developed in the challenge is provided in this paper.