バースト超解像 (SR) 技術は、低品質の画像から豊かなディテールを復元する可能性を提供します。ただし、実際のアプリケーションにおける現実世界の低解像度 (LR) 画像には複数の複雑で未知の劣化があるため、既存の非ブラインド (バイキュービックなど) に設計されたネットワークは通常、高解像度 (HR) 画像を回復する際に深刻なパフォーマンス低下を被ります。このホワイト ペーパーでは、最新のハンドヘルド デバイスから取得した生のバースト シーケンスから HR 画像を再構成する問題に対処します。中心的な考え方は、カーネル推定と HR 画像復元の 2 つのステップでバースト SR 問題を解決できるカーネル誘導戦略です。前者は生の入力からバースト カーネルを推定し、後者は推定されたカーネルに基づいて超解像画像を予測します。さらに、ぼやけた事前確率を考慮して生の画像を効果的に整列できる、ピラミッド カーネル対応の変形可能な整列モジュールを導入します。合成および実世界のデータセットに関する広範な実験は、提案された方法がバースト SR 問題で好ましい最先端のパフォーマンスを実行できることを示しています。コードは https://github.com/shermanlian/KBNet で入手できます。
Burst super-resolution (SR) technique provides a possibility of restoring rich details from low-quality images. However, since real world low-resolution (LR) images in practical applications have multiple complicated and unknown degradations, existing non-blind (e.g., bicubic) designed networks usually suffer severe performance drop in recovering high-resolution (HR) images. In this paper, we address the problem of reconstructing HR images from raw burst sequences acquired from a modern handheld device. The central idea is a kernel-guided strategy which can solve the burst SR problem with two steps: kernel estimation and HR image restoration. The former estimates burst kernels from raw inputs, while the latter predicts the super-resolved image based on the estimated kernels. Furthermore, we introduce a pyramid kernel-aware deformable alignment module which can effectively align the raw images with consideration of the blurry priors. Extensive experiments on synthetic and real-world datasets demonstrate that the proposed method can perform favorable state-of-the-art performance in the burst SR problem. Our codes are available at https://github.com/shermanlian/KBNet.