arXiv reaDer
画像ワーピングのための局所陰的フーリエ表現の学習
Learning Local Implicit Fourier Representation for Image Warping
画像ワーピングは、長方形のグリッド上で定義された画像を任意の形状に再形成することを目的としています。最近、陰関数は、画像を連続的に表現する際に驚くべきパフォーマンスを示しています。ただし、スタンドアロンの多層パーセプトロンは、高周波フーリエ係数の学習に悩まされています。この論文では、画像ワーピング用の局所テクスチャ推定器(LTEW)と、それに続く画像を連続形状に変形するための暗黙的なニューラル表現を提案します。深い超解像(SR)バックボーンから推定されたローカルテクスチャは、歪んだ画像のフーリエ応答を予測するために、座標変換のローカルで変化するJacobian行列によって乗算されます。 LTEWベースのニューラル関数は、非対称スケールSRおよびホモグラフィ変換の既存のワーピング方法よりも優れています。さらに、私たちのアルゴリズムは、トレーニングでは提供されない、大きな倍率のホモグラフィ変換や正距円筒図法(ERP)透視変換などの任意の座標変換を適切に一般化します。
Image warping aims to reshape images defined on rectangular grids into arbitrary shapes. Recently, implicit neural functions have shown remarkable performances in representing images in a continuous manner. However, a standalone multi-layer perceptron suffers from learning high-frequency Fourier coefficients. In this paper, we propose a local texture estimator for image warping (LTEW) followed by an implicit neural representation to deform images into continuous shapes. Local textures estimated from a deep super-resolution (SR) backbone are multiplied by locally-varying Jacobian matrices of a coordinate transformation to predict Fourier responses of a warped image. Our LTEW-based neural function outperforms existing warping methods for asymmetric-scale SR and homography transform. Furthermore, our algorithm well generalizes arbitrary coordinate transformations, such as homography transform with a large magnification factor and equirectangular projection (ERP) perspective transform, which are not provided in training.
updated: Tue Jul 05 2022 06:30:17 GMT+0000 (UTC)
published: Tue Jul 05 2022 06:30:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト