このペーパーでは、スナップショットモザイクセンサーによって取得された画像を超解像と色予測を同時に行うための新しい方法を紹介します。これらのセンサーは、複雑な光学設定を必要とせずにビデオフレームレートで動作できる低電力、小型フォームファクタのソリッドステートCMOSセンサーを使用してスペクトル画像を取得できます。それらの望ましい特性にもかかわらず、それらの主な欠点は、これらのセンサーによって取得された画像の空間解像度が低いという事実に由来します。さらに、スナップショットモザイクセンサーの色マッピングは簡単ではありません。センサーによって配信される帯域は狭く、それらが動作する範囲全体に不均一に分布する傾向があるためです。テクスチャセンシティブブロックを備えた残留チャネルアテンションネットワークを使用して、色マッピングに適用されるこの欠点に対処します。私たちの方法は、画像を補間し、その後、カラーマッチング関数を適用する従来のアプローチよりも大幅に優れています。この作業により、この分野で最先端の技術が確立されるとともに、296の登録されたステレオマルチスペクトル/ RGB画像ペアを含むデータセットが研究コミュニティで利用可能になります。
This paper introduces a novel method to simultaneously super-resolve and colour-predict images acquired by snapshot mosaic sensors. These sensors allow for spectral images to be acquired using low-power, small form factor, solid-state CMOS sensors that can operate at video frame rates without the need for complex optical setups. Despite their desirable traits, their main drawback stems from the fact that the spatial resolution of the imagery acquired by these sensors is low. Moreover, chromatic mapping in snapshot mosaic sensors is not straightforward since the bands delivered by the sensor tend to be narrow and unevenly distributed across the range in which they operate. We tackle this drawback as applied to chromatic mapping by using a residual channel attention network equipped with a texture sensitive block. Our method significantly outperforms the traditional approach of interpolating the image and, afterwards, applying a colour matching function. This work establishes state-of-the-art in this domain while also making available to the research community a dataset containing 296 registered stereo multi-spectral/RGB images pairs.