arXiv reaDer
Burst Image Restoration and Enhancement
最新のハンドヘルドデバイスは、バースト画像シーケンスをすばやく連続して取得できます。ただし、取得した個々のフレームは複数の劣化が発生し、手ぶれやオブジェクトの動きによって位置がずれます。 Burst Image Restorationの目標は、複数のバーストフレームにわたって補完的なキューを効果的に組み合わせて、高品質の出力を生成することです。この目標に向けて、バーストフレーム間の効果的な情報交換にのみ焦点を当て、実際のシーンの詳細を保持および強化しながら劣化を除外するという、新しいアプローチを開発します。私たちの中心的なアイデアは、すべての入力バーストフレームからの補完的な情報を組み合わせてシームレスに情報を交換する一連の疑似バースト機能を作成することです。疑似バースト表現は、元のバースト画像からチャネルごとの特徴をエンコードするため、モデルは複数のバーストフレームによって提供される特徴的な情報を簡単に学習できます。ただし、個々のバーストフレームがフレーム間の移動を割り引くように適切に調整されていない限り、疑似バーストを正常に作成することはできません。したがって、私たちのアプローチは、最初に各バーストフレームから前処理された特徴を抽出し、エッジブーストバーストアライメントモジュールを使用してそれらを照合します。次に、疑似バースト機能が作成され、マルチスケールのコンテキスト情報を使用して強化されます。最後のステップは、疑似バースト機能からの情報を適応的に集約して、疑似バースト機能をマージしながら、複数の段階で解像度を段階的に向上させることです。通常、単一段階のアップサンプリングを伴う後期融合スキームに従う既存の作品と比較して、私たちのアプローチは良好に機能し、バースト超解像および低照度画像強調タスクで最先端のパフォーマンスを提供します。私たちのコードとモデルは一般に公開されます。
Modern handheld devices can acquire burst image sequence in a quick succession. However, the individual acquired frames suffer from multiple degradations and are misaligned due to camera shake and object motions. The goal of Burst Image Restoration is to effectively combine complimentary cues across multiple burst frames to generate high-quality outputs. Towards this goal, we develop a novel approach by solely focusing on the effective information exchange between burst frames, such that the degradations get filtered out while the actual scene details are preserved and enhanced. Our central idea is to create a set of pseudo-burst features that combine complimentary information from all the input burst frames to seamlessly exchange information. The pseudo-burst representations encode channel-wise features from the original burst images, thus making it easier for the model to learn distinctive information offered by multiple burst frames. However, the pseudo-burst cannot be successfully created unless the individual burst frames are properly aligned to discount inter-frame movements. Therefore, our approach initially extracts preprocessed features from each burst frame and matches them using an edge-boosting burst alignment module. The pseudo-burst features are then created and enriched using multi-scale contextual information. Our final step is to adaptively aggregate information from the pseudo-burst features to progressively increase resolution in multiple stages while merging the pseudo-burst features. In comparison to existing works that usually follow a late fusion scheme with single-stage upsampling, our approach performs favorably, delivering state of the art performance on burst super-resolution and low-light image enhancement tasks. Our codes and models will be released publicly.
updated: Thu Oct 07 2021 17:58:56 GMT+0000 (UTC)
published: Thu Oct 07 2021 17:58:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト