arXiv reaDer
ステレオ画像超解像度のためのハイブリッドトランスフォーマーと CNN アテンションネットワーク
Hybrid Transformer and CNN Attention Network for Stereo Image Super-resolution
画像復元タスクでは、多段階戦略が頻繁に使用されます。トランスフォーマーベースの手法は、単一画像の超解像度タスクでは高い効率を示していますが、ステレオ超解像度タスクでは CNN ベースの手法に比べて大きな利点はまだ示されていません。これは 2 つの重要な要因に起因すると考えられます。1 つは、現在の単一画像超解像度トランスフォーマーがプロセス中に相補的なステレオ情報を活用できないことです。第 2 に、トランスのパフォーマンスは通常、十分なデータに依存しますが、一般的なステレオ画像の超解像度アルゴリズムにはデータがありません。これらの問題に対処するために、我々はハイブリッド トランスフォーマーと CNN アテンション ネットワーク (HTCAN) を提案します。これは、単一画像の強化にはトランスフォーマー ベースのネットワークを、ステレオ情報融合には CNN ベースのネットワークを利用します。さらに、マルチパッチ トレーニング戦略とより大きなウィンドウ サイズを採用して、超解像度のためにより多くの入力ピクセルをアクティブにします。また、過剰適合やデータの偏りを軽減するために、データ拡張、データ アンサンブル、モデル アンサンブルなどの他の高度な技術も再検討します。最終的に、私たちのアプローチは 23.90dB のスコアを達成し、NTIRE 2023 ステレオ画像超解像度チャレンジのトラック 1 で優勝者として浮上しました。
Multi-stage strategies are frequently employed in image restoration tasks. While transformer-based methods have exhibited high efficiency in single-image super-resolution tasks, they have not yet shown significant advantages over CNN-based methods in stereo super-resolution tasks. This can be attributed to two key factors: first, current single-image super-resolution transformers are unable to leverage the complementary stereo information during the process; second, the performance of transformers is typically reliant on sufficient data, which is absent in common stereo-image super-resolution algorithms. To address these issues, we propose a Hybrid Transformer and CNN Attention Network (HTCAN), which utilizes a transformer-based network for single-image enhancement and a CNN-based network for stereo information fusion. Furthermore, we employ a multi-patch training strategy and larger window sizes to activate more input pixels for super-resolution. We also revisit other advanced techniques, such as data augmentation, data ensemble, and model ensemble to reduce overfitting and data bias. Finally, our approach achieved a score of 23.90dB and emerged as the winner in Track 1 of the NTIRE 2023 Stereo Image Super-Resolution Challenge.
updated: Tue May 09 2023 05:19:16 GMT+0000 (UTC)
published: Tue May 09 2023 05:19:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト