モバイルカメラの品質が現代のスマートフォンで重要な役割を果たし始めるにつれて、モバイル写真のさまざまな知覚的側面を改善するために使用されるISPアルゴリズムにますます注目が集まっています。このモバイルAIの課題では、従来の手作りのISPに取って代わり、スマートフォンのNPUでほぼリアルタイムのパフォーマンスを実現できるエンドツーエンドのディープラーニングベースの画像信号処理(ISP)パイプラインを開発することが目標でした。このため、参加者には、Sony IMX586 QuadBayerモバイルセンサーとプロ仕様の102メガピクセル中判カメラでキャプチャされたRAW-RGB画像ペアで構成される新しい学習済みISPデータセットが提供されました。すべてのモデルのランタイムは、浮動小数点ニューラルネットワークと量子化ニューラルネットワークの両方を高速化できる専用のAI処理ユニットを備えたMediaTek Dimensity1000 +プラットフォームで評価されました。提案されたソリューションは、上記のNPUと完全に互換性があり、高忠実度の結果を達成しながら、60〜100ミリ秒未満でフルHD写真を処理することができます。このホワイトペーパーでは、このチャレンジで開発されたすべてのモデルの詳細について説明します。
As the quality of mobile cameras starts to play a crucial role in modern smartphones, more and more attention is now being paid to ISP algorithms used to improve various perceptual aspects of mobile photos. In this Mobile AI challenge, the target was to develop an end-to-end deep learning-based image signal processing (ISP) pipeline that can replace classical hand-crafted ISPs and achieve nearly real-time performance on smartphone NPUs. For this, the participants were provided with a novel learned ISP dataset consisting of RAW-RGB image pairs captured with the Sony IMX586 Quad Bayer mobile sensor and a professional 102-megapixel medium format camera. The runtime of all models was evaluated on the MediaTek Dimensity 1000+ platform with a dedicated AI processing unit capable of accelerating both floating-point and quantized neural networks. The proposed solutions are fully compatible with the above NPU and are capable of processing Full HD photos under 60-100 milliseconds while achieving high fidelity results. A detailed description of all models developed in this challenge is provided in this paper.