arXiv reaDer
ヨーダ: 拡散領域のみです。画像超解像のためのエリアマスク拡散アプローチ
YODA: You Only Diffuse Areas. An Area-Masked Diffusion Approach For Image Super-Resolution
この作品では、単一画像超解像度 (SISR) における部分拡散のための新しい方法である「You Only Diffuse Areas」(YODA) を紹介します。中心となるアイデアは、低解像度画像と拡散プロセスの現在の時間ステップから導出されたアテンション マップに基づいて、空間領域で選択的に拡散を利用することです。この時間依存のターゲティングにより、反復改良プロセスから最も恩恵を受ける領域、つまり詳細が豊富なオブジェクトに焦点を当てることにより、高解像度出力へのより効果的な変換が可能になります。私たちは、主要な拡散ベースの SISR 手法 SR3 および SRDiff を拡張することにより、YODA を経験的に検証します。私たちの実験では、PSNR、SSIM、LPIPS メトリクス全体で、面および一般 SR における新しい最先端のパフォーマンスの向上を実証しています。注目すべき発見は、特に小さなバッチサイズによって引き起こされる場合のカラーシフトを低減することによるトレーニングに対する YODA の安定化効果であり、リソースが制約されたシナリオに潜在的に寄与する可能性があります。提案された空間的および時間的適応拡散メカニズムは、強化されたアテンション マップ抽出技術の開発やスパーサー拡散に基づく推論レイテンシの最適化など、有望な研究の方向性を切り開きます。
This work introduces "You Only Diffuse Areas" (YODA), a novel method for partial diffusion in Single-Image Super-Resolution (SISR). The core idea is to utilize diffusion selectively on spatial regions based on attention maps derived from the low-resolution image and the current time step in the diffusion process. This time-dependent targeting enables a more effective conversion to high-resolution outputs by focusing on areas that benefit the most from the iterative refinement process, i.e., detail-rich objects. We empirically validate YODA by extending leading diffusion-based SISR methods SR3 and SRDiff. Our experiments demonstrate new state-of-the-art performance gains in face and general SR across PSNR, SSIM, and LPIPS metrics. A notable finding is YODA's stabilization effect on training by reducing color shifts, especially when induced by small batch sizes, potentially contributing to resource-constrained scenarios. The proposed spatial and temporal adaptive diffusion mechanism opens promising research directions, including developing enhanced attention map extraction techniques and optimizing inference latency based on sparser diffusion.
updated: Mon Nov 13 2023 23:57:21 GMT+0000 (UTC)
published: Tue Aug 15 2023 18:27:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト