arXiv reaDer
RGBW センサー フュージョンに関する MIPI 2022 チャレンジ: データセットとレポート
MIPI 2022 Challenge on RGBW Sensor Fusion: Dataset and Report
高度なイメージ センサーを開発し、カメラ システムの新しいアルゴリズムと統合することは、モバイル プラットフォームでのコンピューテーショナル フォトグラフィーとイメージングに対する需要の増加に伴い、一般的になっています。ただし、研究用の高品質データの欠如と、産業界と学界からの詳細な意見交換のめったにない機会が、モバイル インテリジェント写真と画像処理 (MIPI) の開発を制約しています。このギャップを埋めるために、新しいイメージ センサーとイメージング アルゴリズムに焦点を当てた 5 つのトラックを含む、最初の MIPI チャレンジを紹介します。本稿では、5 つのトラックの 1 つである RGBW Joint Fusion and Denoise を紹介します。これは、Bayer へのビニング モード RGBW の融合に取り組んでいます。参加者には、高品質の RGBW と Bayer のペアの 70 (トレーニング) シーンと 15 (検証) シーンを含む新しいデータセットが提供されました。また、シーンごとにノイズレベルの異なるRGBWを24dBと42dBで用意。すべてのデータは、屋外と屋内の両方の条件で RGBW センサーを使用してキャプチャされました。最終結果は、PSNR、SSIM}、LPIPS、KLD などの客観的な指標を使用して評価されます。この課題で開発されたすべてのモデルの詳細な説明は、このホワイト ペーパーで提供されます。この課題の詳細とデータセットへのリンクは、https://github.com/mipi-challenge/MIPI2022 にあります。
Developing and integrating advanced image sensors with novel algorithms in camera systems are prevalent with the increasing demand for computational photography and imaging on mobile platforms. However, the lack of high-quality data for research and the rare opportunity for in-depth exchange of views from industry and academia constrain the development of mobile intelligent photography and imaging (MIPI). To bridge the gap, we introduce the first MIPI challenge, including five tracks focusing on novel image sensors and imaging algorithms. In this paper, RGBW Joint Fusion and Denoise, one of the five tracks, working on the fusion of binning-mode RGBW to Bayer, is introduced. The participants were provided with a new dataset including 70 (training) and 15 (validation) scenes of high-quality RGBW and Bayer pairs. In addition, for each scene, RGBW of different noise levels was provided at 24dB and 42dB. All the data were captured using an RGBW sensor in both outdoor and indoor conditions. The final results are evaluated using objective metrics, including PSNR, SSIM}, LPIPS, and KLD. A detailed description of all models developed in this challenge is provided in this paper. More details of this challenge and the link to the dataset can be found at https://github.com/mipi-challenge/MIPI2022.
updated: Thu Sep 15 2022 05:56:53 GMT+0000 (UTC)
published: Thu Sep 15 2022 05:56:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト