arXiv reaDer
Burstormer: バースト画像の復元と強化トランスフォーマー
Burstormer: Burst Image Restoration and Enhancement Transformer
シャッターを押すと、最新のハンドヘルド カメラは複数の画像を立て続けにキャプチャし、それらを結合して 1 つの画像を生成します。ただし、バースト内の個々のフレームは、避けられない動きのためにずれており、複数の劣化が含まれています。課題は、連続する画像ショットを適切に配置し、補完的な情報をマージして高品質の出力を実現することです。この方向に向かって、バースト画像の復元と強化のための新しいトランスフォーマーベースのアーキテクチャである Burstormer を提案します。既存の作品と比較して、私たちのアプローチは、マルチスケールのローカルおよび非ローカル機能を利用して、改善されたアライメントと機能融合を実現します。私たちの重要なアイデアは、バースト全体のコンテキストをモデル化しながら、情報の集約と漸進的な融合のためにバースト近傍でフレーム間通信を可能にすることです。ただし、情報を融合する前に、入力バースト フレームを適切に配置する必要があります。したがって、参照フレームに関してバースト機能を整列させるための強化された変形可能な整列モジュールを提案します。既存の方法とは異なり、提案された位置合わせモジュールは、バースト機能を位置合わせするだけでなく、機能情報を交換し、提案された参照ベースの機能強化メカニズムを通じて参照フレームとの集中的な通信を維持します。これにより、複雑な動きの処理が容易になります。マルチレベルのアライメントと強化の後、サイクリック バースト サンプリング モジュールを使用したバースト内のフレーム間通信を再度強調します。最後に、フレーム間情報は、提案されたバースト機能融合モジュールとそれに続くプログレッシブ アップサンプリングを使用して集約されます。当社の Burstormer は、バーストの超解像、バーストのノイズ除去、およびバーストの低照度強調において、最先端の方法よりも優れています。コードと事前トレーニング済みモデルは、https://github.com/akshaydudhane16/Burstormer で入手できます。
On a shutter press, modern handheld cameras capture multiple images in rapid succession and merge them to generate a single image. However, individual frames in a burst are misaligned due to inevitable motions and contain multiple degradations. The challenge is to properly align the successive image shots and merge their complimentary information to achieve high-quality outputs. Towards this direction, we propose Burstormer: a novel transformer-based architecture for burst image restoration and enhancement. In comparison to existing works, our approach exploits multi-scale local and non-local features to achieve improved alignment and feature fusion. Our key idea is to enable inter-frame communication in the burst neighborhoods for information aggregation and progressive fusion while modeling the burst-wide context. However, the input burst frames need to be properly aligned before fusing their information. Therefore, we propose an enhanced deformable alignment module for aligning burst features with regards to the reference frame. Unlike existing methods, the proposed alignment module not only aligns burst features but also exchanges feature information and maintains focused communication with the reference frame through the proposed reference-based feature enrichment mechanism, which facilitates handling complex motions. After multi-level alignment and enrichment, we re-emphasize on inter-frame communication within burst using a cyclic burst sampling module. Finally, the inter-frame information is aggregated using the proposed burst feature fusion module followed by progressive upsampling. Our Burstormer outperforms state-of-the-art methods on burst super-resolution, burst denoising and burst low-light enhancement. Our codes and pretrained models are available at https:// github.com/akshaydudhane16/Burstormer
updated: Mon Apr 03 2023 17:58:44 GMT+0000 (UTC)
published: Mon Apr 03 2023 17:58:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト