arXiv reaDer
拡散ベースの画像修復のためのスパースマスクの学習
Learning Sparse Masks for Diffusion-based Image Inpainting
拡散ベースの修復は、スパースデータから画像を再構築するための強力なツールです。その品質は、既知のデータの選択に大きく依存します。それらの空間的位置(修復マスク)を最適化することは困難です。このタスクで一般的に使用されるツールは、確率的最適化戦略です。ただし、複数の修復結果を計算するため、速度は遅くなります。学習したマスク生成モデルの観点から救済策を提供します。マスク生成とニューラルサロゲート修復用の2つのネットワークを使用して完全な修復パイプラインをエミュレートすることにより、高効率の適応マスク生成のモデルを取得します。実験によると、私たちのモデルは4桁もの加速で競争力のある品質を達成できます。私たちの調査結果は、高速エンコーディングが非常に望ましい画像圧縮などのアプリケーションにとって、拡散ベースの修復をより魅力的にするための基礎として役立ちます。
Diffusion-based inpainting is a powerful tool for the reconstruction of images from sparse data. Its quality strongly depends on the choice of known data. Optimising their spatial location -- the inpainting mask -- is challenging. A commonly used tool for this task are stochastic optimisation strategies. However, they are slow as they compute multiple inpainting results. We provide a remedy in terms of a learned mask generation model. By emulating the complete inpainting pipeline with two networks for mask generation and neural surrogate inpainting, we obtain a model for highly efficient adaptive mask generation. Experiments indicate that our model can achieve competitive quality with an acceleration by as much as four orders of magnitude. Our findings serve as a basis for making diffusion-based inpainting more attractive for applications such as image compression, where fast encoding is highly desirable.
updated: Mon May 16 2022 06:28:03 GMT+0000 (UTC)
published: Wed Oct 06 2021 10:20:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト