ノイズ除去とデモザイキングは、生データからクリーンなフルカラー画像を再構築するための2つの重要なステップです。最近、バースト画像、すなわちJDD-Bの共同ノイズ除去およびデモザイキング(JDD)は、単一の高品質画像を再構成するために短時間でキャプチャされた複数の生画像を使用することによって大きな注目を集めています。 JDD-Bの重要な課題の1つは、画像フレームの堅牢な配置にあります。機能領域の最先端の位置合わせ方法では、カメラやオブジェクトの動きによって大きなシフトが一般的に存在するバースト画像の時間情報を効果的に利用できません。さらに、最新のイメージングデバイスの解像度が高い(たとえば、4K)と、フレーム間の変位が大きくなります。これらの課題に対処するために、効果的なJDD-Bのために、パッチレベルとピクセルレベルで順次微分可能な2段階の位置合わせスキームを設計します。入力バースト画像は、最初に、微分可能なプログレッシブブロックマッチング法を使用してパッチレベルで位置合わせされます。これにより、わずかな計算コストで離れたフレーム間のオフセットを推定できます。次に、フル解像度のフィーチャドメインで暗黙的なピクセル単位の位置合わせを実行して、位置合わせの結果を調整します。 2つのステージは、エンドツーエンドの方法で共同でトレーニングされます。広範な実験により、既存のJDD-Bメソッドに比べてメソッドが大幅に改善されていることがわかります。コードはhttps://github.com/GuoShi28/2StageAlignで入手できます。
Denoising and demosaicking are two essential steps to reconstruct a clean full-color image from the raw data. Recently, joint denoising and demosaicking (JDD) for burst images, namely JDD-B, has attracted much attention by using multiple raw images captured in a short time to reconstruct a single high-quality image. One key challenge of JDD-B lies in the robust alignment of image frames. State-of-the-art alignment methods in feature domain cannot effectively utilize the temporal information of burst images, where large shifts commonly exist due to camera and object motion. In addition, the higher resolution (e.g., 4K) of modern imaging devices results in larger displacement between frames. To address these challenges, we design a differentiable two-stage alignment scheme sequentially in patch and pixel level for effective JDD-B. The input burst images are firstly aligned in the patch level by using a differentiable progressive block matching method, which can estimate the offset between distant frames with small computational cost. Then we perform implicit pixel-wise alignment in full-resolution feature domain to refine the alignment results. The two stages are jointly trained in an end-to-end manner. Extensive experiments demonstrate the significant improvement of our method over existing JDD-B methods. Codes are available at https://github.com/GuoShi28/2StageAlign.