参照ベースの超解像(RefSR)は、外部参照(Ref)画像を使用してリアルなテクスチャを作成する上で大きな進歩を遂げました。ただし、既存のRefSRメソッドは、入力サイズに関して2次計算リソースを消費する高品質の対応マッチングを取得するため、そのアプリケーションが制限されます。さらに、これらのアプローチは通常、低解像度(LR)画像とRef画像の間のスケールのずれに悩まされています。この論文では、Coarse-to-Fine Embedded PatchMatch(CFE-PatchMatch)およびMulti-Scale Dynamic Aggregation(MSDA)モジュールを含む、参照ベースの超解像のための加速マルチスケール集約ネットワーク(AMSA)を提案します。マッチング効率を向上させるために、ランダムサンプル伝播を使用した新しいEmbedded PatchMacthスキームを設計します。これには、入力サイズへの漸近線形計算コストを使用したエンドツーエンドのトレーニングが含まれます。計算コストをさらに削減し、収束を高速化するために、CFE-PatchMatchを構成するEmbeddedPatchMacthに粗いものから細かいものへの戦略を適用します。複数のスケールにわたって参照情報を完全に活用し、スケールの不整合に対する堅牢性を強化するために、動的集約とマルチスケール集約で構成されるMSDAモジュールを開発します。動的集約は、機能を動的に集約することによってマイナースケールの不整合を修正し、マルチスケール集約は、マルチスケール情報を融合することによって大規模な不整合に堅牢性をもたらします。実験結果は、提案されたAMSAが、定量的評価と定性的評価の両方で、最先端のアプローチよりも優れたパフォーマンスを達成することを示しています。
Reference-based super-resolution (RefSR) has made significant progress in producing realistic textures using an external reference (Ref) image. However, existing RefSR methods obtain high-quality correspondence matchings consuming quadratic computation resources with respect to the input size, limiting its application. Moreover, these approaches usually suffer from scale misalignments between the low-resolution (LR) image and Ref image. In this paper, we propose an Accelerated Multi-Scale Aggregation network (AMSA) for Reference-based Super-Resolution, including Coarse-to-Fine Embedded PatchMatch (CFE-PatchMatch) and Multi-Scale Dynamic Aggregation (MSDA) module. To improve matching efficiency, we design a novel Embedded PatchMacth scheme with random samples propagation, which involves end-to-end training with asymptotic linear computational cost to the input size. To further reduce computational cost and speed up convergence, we apply the coarse-to-fine strategy on Embedded PatchMacth constituting CFE-PatchMatch. To fully leverage reference information across multiple scales and enhance robustness to scale misalignment, we develop the MSDA module consisting of Dynamic Aggregation and Multi-Scale Aggregation. The Dynamic Aggregation corrects minor scale misalignment by dynamically aggregating features, and the Multi-Scale Aggregation brings robustness to large scale misalignment by fusing multi-scale information. Experimental results show that the proposed AMSA achieves superior performance over state-of-the-art approaches on both quantitative and qualitative evaluations.