arXiv reaDer
超解像ニューラル演算子
Super-Resolution Neural Operator
超解像度ニューラル オペレーター (SRNO) を提案します。これは、低解像度 (LR) 対応する画像から任意のスケールで高解像度 (HR) 画像を解決できるディープ オペレーター学習フレームワークです。 SRNO は、LR-HR 画像ペアを異なるグリッド サイズで近似された連続関数として扱い、対応する関数空間間のマッピングを学習します。近似理論の観点から、SRNO は最初に LR 入力を高次元の潜在表現空間に埋め込み、十分な基底関数を取得しようとし、次にカーネル積分メカニズムを使用して暗黙のイメージ関数を反復的に近似し、その後に最終的な次元削減ステップを行います。ターゲット座標で RGB 表現を生成します。 SRNO を以前の連続 SR 作品と区別する重要な特徴は次のとおりです。1) 各レイヤーのカーネル積分は、空間ドメインで非局所的な特性を持ち、したがってグリッドのない連続体に利益をもたらすガラーキン型の注意を介して効率的に実装されます。 2) 多層アテンション アーキテクチャにより、動的な潜在基底更新が可能になります。実験によると、SRNO は、精度と実行時間の両方の点で、既存の連続 SR メソッドよりも優れていることが示されています。私たちのコードは https://github.com/2y7c3/Super-Resolution-Neural-Operator にあります
We propose Super-resolution Neural Operator (SRNO), a deep operator learning framework that can resolve high-resolution (HR) images at arbitrary scales from the low-resolution (LR) counterparts. Treating the LR-HR image pairs as continuous functions approximated with different grid sizes, SRNO learns the mapping between the corresponding function spaces. From the perspective of approximation theory, SRNO first embeds the LR input into a higher-dimensional latent representation space, trying to capture sufficient basis functions, and then iteratively approximates the implicit image function with a kernel integral mechanism, followed by a final dimensionality reduction step to generate the RGB representation at the target coordinates. The key characteristics distinguishing SRNO from prior continuous SR works are: 1) the kernel integral in each layer is efficiently implemented via the Galerkin-type attention, which possesses non-local properties in the spatial domain and therefore benefits the grid-free continuum; and 2) the multilayer attention architecture allows for the dynamic latent basis update, which is crucial for SR problems to "hallucinate" high-frequency information from the LR image. Experiments show that SRNO outperforms existing continuous SR methods in terms of both accuracy and running time. Our code is at https://github.com/2y7c3/Super-Resolution-Neural-Operator
updated: Sun Mar 05 2023 06:17:43 GMT+0000 (UTC)
published: Sun Mar 05 2023 06:17:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト