arXiv reaDer
MicroISP: ディープラーニングを使用したモバイル デバイスでの 32MP 写真の処理
MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning
ニューラル ネットワーク ベースの写真処理ソリューションは、従来の ISP システムよりも優れた画質を提供できますが、計算が非常に複雑であるため、モバイル デバイスへの適用は依然として非常に限られています。このホワイト ペーパーでは、計算とメモリの制限を考慮して、エッジ デバイス専用に設計された新しい MicroISP モデルを紹介します。提案されたソリューションは、標準のモバイル ML ライブラリを使用して最新のスマートフォンで最大 32MP の写真を処理でき、推論を実行するのに 1 秒未満しか必要としませんが、FullHD 画像の場合はリアルタイムのパフォーマンスを実現します。モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに合わせて複雑さを調整できます。モデルのパフォーマンスを評価するために、通常のモバイル カメラ センサーとプロの 102MP 中判 FujiFilm GFX100 カメラでキャプチャされた何千ものペアの写真で構成される新しい Fujifilm UltraISP データセットを収集しました。実験は、そのコンパクトなサイズにもかかわらず、MicroISP モデルが従来のモバイル ISP システムと同等またはそれ以上の視覚的結果を提供できることを実証しました。最後に、このモデルは最新のモバイル AI アクセラレーターとも互換性があり、スマートフォンの NPU および APU で優れたランタイムと低消費電力を実現します。コード、データセット、事前トレーニング済みモデルは、プロジェクトの Web サイト (https://people.ee.ethz.ch/~ihnatova/microisp.html) で入手できます。
While neural networks-based photo processing solutions can provide a better image quality compared to the traditional ISP systems, their application to mobile devices is still very limited due to their very high computational complexity. In this paper, we present a novel MicroISP model designed specifically for edge devices, taking into account their computational and memory limitations. The proposed solution is capable of processing up to 32MP photos on recent smartphones using the standard mobile ML libraries and requiring less than 1 second to perform the inference, while for FullHD images it achieves real-time performance. The architecture of the model is flexible, allowing to adjust its complexity to devices of different computational power. To evaluate the performance of the model, we collected a novel Fujifilm UltraISP dataset consisting of thousands of paired photos captured with a normal mobile camera sensor and a professional 102MP medium-format FujiFilm GFX100 camera. The experiments demonstrated that, despite its compact size, the MicroISP model is able to provide comparable or better visual results than the traditional mobile ISP systems, while outperforming the previously proposed efficient deep learning based solutions. Finally, this model is also compatible with the latest mobile AI accelerators, achieving good runtime and low power consumption on smartphone NPUs and APUs. The code, dataset and pre-trained models are available on the project website: https://people.ee.ethz.ch/~ihnatova/microisp.html
updated: Tue Nov 08 2022 17:40:50 GMT+0000 (UTC)
published: Tue Nov 08 2022 17:40:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト