arXiv reaDer
バーストの復元と強化のためのゲート付きマルチ解像度転送ネットワーク
Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement
バースト画像処理は、近年ますます一般的になっています。ただし、個々のバースト画像は複数の劣化を受け、多くの場合、相互のずれが発生してゴーストやジッパー アーティファクトが発生するため、困難な作業です。既存のバースト復元方法は、通常、バースト フレーム間の相互相関と非局所的なコンテキスト情報を考慮していないため、困難な場合にこれらのアプローチが制限される傾向があります。もう 1 つの重要な課題は、バースト フレームの堅牢なアップサンプリングにあります。既存のアップサンプリング方法では、従来のアップサンプラーおよび/または最近のアップサンプラーを使用したシングル ステージおよびプログレッシブ アップサンプリング戦略の利点を同時に効果的に利用することはできません。これらの課題に対処するために、低品質の生画像のバーストから空間的に正確な高品質の画像を再構築するための新しいゲート付きマルチ解像度転送ネットワーク (GMTNet) を提案します。 GMTNet は、バースト処理タスク用に最適化された 3 つのモジュールで構成されています。特徴のノイズ除去と位置合わせのためのマルチスケール バースト特徴アライメント (MBFA)、マルチフレーム特徴集約のための転置注意特徴マージ (TAFM)、および解像度転送特徴アップサンプラー (RTFU) ) マージされた機能をアップスケールし、高品質の出力画像を構築します。 5 つのデータセットに関する詳細な実験的分析により、私たちのアプローチが検証され、バーストの超解像、バーストのノイズ除去、および低照度バーストの強化のための最先端の技術が確立されました。
Burst image processing is becoming increasingly popular in recent years. However, it is a challenging task since individual burst images undergo multiple degradations and often have mutual misalignments resulting in ghosting and zipper artifacts. Existing burst restoration methods usually do not consider the mutual correlation and non-local contextual information among burst frames, which tends to limit these approaches in challenging cases. Another key challenge lies in the robust up-sampling of burst frames. The existing up-sampling methods cannot effectively utilize the advantages of single-stage and progressive up-sampling strategies with conventional and/or recent up-samplers at the same time. To address these challenges, we propose a novel Gated Multi-Resolution Transfer Network (GMTNet) to reconstruct a spatially precise high-quality image from a burst of low-quality raw images. GMTNet consists of three modules optimized for burst processing tasks: Multi-scale Burst Feature Alignment (MBFA) for feature denoising and alignment, Transposed-Attention Feature Merging (TAFM) for multi-frame feature aggregation, and Resolution Transfer Feature Up-sampler (RTFU) to up-scale merged features and construct a high-quality output image. Detailed experimental analysis on five datasets validates our approach and sets a state-of-the-art for burst super-resolution, burst denoising, and low-light burst enhancement.
updated: Thu Apr 13 2023 17:54:00 GMT+0000 (UTC)
published: Thu Apr 13 2023 17:54:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト