arXiv reaDer
Feature Interaction Weighted Hybrid Network による効率的な画像超解像
Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network
最近、深層学習技術に基づく単一画像超解像 (SISR) が大きく進歩しました。しかし、既存の方法は通常、大きな計算コストを必要とします。一方、アクティベーション機能により、中間層の一部の機能が失われます。したがって、再構成の品質に対する中間機能の損失の影響を減らしながら、モデルを軽量にすることは課題です。この論文では、上記の問題を軽減するために、Feature Interaction Weighted Hybrid Network (FIWHN) を提案します。具体的には、FIWHN は、バックボーンとして一連の新規のワイド残差蒸留相互作用ブロック (WDIB) で構成され、3 つおきの WDIB が相互情報の混合と融合によって特徴シャッフル加重グループ (FSWG) を形成します。さらに、再構成結果に対する中間特徴損失の悪影響を軽減するために、適切に設計された Wide Convolutional Residual Weighting (WCRW) ユニットと Wide Identical Residual Weighting (WIRW) ユニットを WDIB に導入し、異なる広残留蒸留接続 (WRDC) フレームワークと自己較正融合 (SCF) ユニットによる細かさ。最後に、CNN モデルに欠けているグローバル機能を補完するために、モデルに Transformer を導入し、CNN と Transformer を組み合わせる新しい方法を検討しました。低レベルおよび高レベルのタスクに関する広範な定量的および定性的な実験は、提案された FIWHN がパフォーマンスと効率の間の良好なバランスを達成でき、低ピクセル シナリオの問題を解決するためのダウンストリーム タスクをより助長することを示しています。
Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.
updated: Thu Dec 29 2022 05:57:29 GMT+0000 (UTC)
published: Thu Dec 29 2022 05:57:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト