arXiv reaDer
BSRT:SwinTransformerとFlow-GuidedDeformableAlignmentによるバースト超解像の改善
BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment
この作業では、新しいアーキテクチャを使用してバースト超解像(BurstSR)タスクに対処します。このタスクでは、ノイズが多く、位置がずれている、低解像度のRAWバーストのシーケンスから高品質の画像を復元する必要があります。 BurstSRの課題を克服するために、フレーム間情報の抽出と再構成の機能を大幅に向上させることができるBurst Super-Resolution Transformer(BSRT)を提案します。この目標を達成するために、Pyramid Flow-Guided Deformable Convolution Network(Pyramid FG-DCN)を提案し、SwinTransformerブロックとグループをメインバックボーンとして組み込みます。具体的には、オプティカルフローと変形可能な畳み込みを組み合わせているため、BSRTはミスアライメントを処理し、潜在的なテクスチャ情報をマルチフレームでより効率的に集約できます。さらに、Transformerベースの構造は、パフォーマンスをさらに向上させるために、長距離の依存関係をキャプチャできます。合成トラックと実世界のトラックの両方での評価は、私たちのアプローチがBurstSRタスクの新しい最先端を達成していることを示しています。さらに、私たちのBSRTは、NTIRE2022バースト超解像チャレンジでチャンピオンシップを獲得します。
This work addresses the Burst Super-Resolution (BurstSR) task using a new architecture, which requires restoring a high-quality image from a sequence of noisy, misaligned, and low-resolution RAW bursts. To overcome the challenges in BurstSR, we propose a Burst Super-Resolution Transformer (BSRT), which can significantly improve the capability of extracting inter-frame information and reconstruction. To achieve this goal, we propose a Pyramid Flow-Guided Deformable Convolution Network (Pyramid FG-DCN) and incorporate Swin Transformer Blocks and Groups as our main backbone. More specifically, we combine optical flows and deformable convolutions, hence our BSRT can handle misalignment and aggregate the potential texture information in multi-frames more efficiently. In addition, our Transformer-based structure can capture long-range dependency to further improve the performance. The evaluation on both synthetic and real-world tracks demonstrates that our approach achieves a new state-of-the-art in BurstSR task. Further, our BSRT wins the championship in the NTIRE2022 Burst Super-Resolution Challenge.
updated: Mon Apr 18 2022 14:23:10 GMT+0000 (UTC)
published: Mon Apr 18 2022 14:23:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト