偏光カラー写真は、1つのスナップショットで視覚的なテクスチャとオブジェクトの表面情報の両方を提供します。ただし、指向性偏光フィルターアレイを使用すると、従来のカラーイメージングと比較して光子数とSNRが大幅に低下します。したがって、この機能は本質的に不快なノイズの多い画像につながり、偏光分析のパフォーマンスを低下させます。チャネルに暗黙的に加えられる物理的制約が非常に複雑であるという事実のために、これは従来の画像処理パイプラインにとっての課題です。この問題に対処するために、クリーンな信号と正確な偏光情報を同時に復元する学習ベースのアプローチを提案します。学習ベースのパイプラインをサポートするために、ペアの生の短時間露光のノイズの多い参照画像と長時間露光の参照画像の実際の偏光カラー画像データセットがキャプチャされます。さらに、ビジョントランスフォーマーの開発を取り入れ、偏光カラー画像のノイズ除去用のハイブリッドトランスフォーマーモデル、つまりPoCoformerを提案して、復元パフォーマンスを向上させます。豊富な実験は提案された方法の有効性を示し、結果に影響を与える重要な要因が分析されます。
Polarized color photography provides both visual textures and object surficial information in one single snapshot. However, the use of the directional polarizing filter array causes extremely lower photon count and SNR compared to conventional color imaging. Thus, the feature essentially leads to unpleasant noisy images and destroys polarization analysis performance. It is a challenge for traditional image processing pipelines owing to the fact that the physical constraints exerted implicitly in the channels are excessively complicated. To address this issue, we propose a learning-based approach to simultaneously restore clean signals and precise polarization information. A real-world polarized color image dataset of paired raw short-exposed noisy and long-exposed reference images are captured to support the learning-based pipeline. Moreover, we embrace the development of vision Transformer and propose a hybrid transformer model for the Polarized Color image denoising, namely PoCoformer, for a better restoration performance. Abundant experiments demonstrate the effectiveness of proposed method and key factors that affect results are analyzed.