arXiv reaDer
ローカル陰的画像関数による連続画像表現の学習
Learning Continuous Image Representation with Local Implicit Image Function
画像を表現する方法は?視覚的な世界は連続的に表示されますが、マシンはピクセルの2D配列を使用して、離散的な方法で画像を保存および表示します。この論文では、画像の連続表現を学習しようとしています。陰関数による3D再構成の最近の進歩に触発されて、画像座標と座標周辺の2D深部特徴を入力として受け取り、出力として特定の座標でのRGB値を予測するLocal Implicit Image Function(LIIF)を提案します。座標は連続しているため、LIIFは任意の解像度で表示できます。ピクセルベースの画像の連続表現を生成するために、超解像を使用した自己監視タスクを介してエンコーダーとLIIF表現をトレーニングします。学習された連続表現は、トレーニングタスクが提供されていない場合でも、30倍高い解像度に外挿しても任意の解像度で表示できます。さらに、LIIF表現が2Dでの離散表現と連続表現の間に橋を架け、サイズが変化する画像のグラウンドトゥルースを使用した学習タスクを自然にサポートし、グラウンドトゥルースのサイズを変更する方法を大幅に上回っていることを示します。コードを含むプロジェクトページはhttps://yinboc.github.io/liif/にあります。
How to represent an image? While the visual world is presented in a continuous manner, machines store and see the images in a discrete way with 2D arrays of pixels. In this paper, we seek to learn a continuous representation for images. Inspired by the recent progress in 3D reconstruction with implicit function, we propose Local Implicit Image Function (LIIF), which takes an image coordinate and the 2D deep features around the coordinate as inputs, predicts the RGB value at a given coordinate as an output. Since the coordinates are continuous, LIIF can be presented in an arbitrary resolution. To generate the continuous representation for pixel-based images, we train an encoder and LIIF representation via a self-supervised task with super-resolution. The learned continuous representation can be presented in arbitrary resolution even extrapolate to ×30 higher resolution, where the training tasks are not provided. We further show that LIIF representation builds a bridge between discrete and continuous representation in 2D, it naturally supports the learning tasks with size-varied image ground-truths and significantly outperforms the method with resizing the ground-truths. Our project page with code is at https://yinboc.github.io/liif/ .
updated: Wed Dec 16 2020 18:56:50 GMT+0000 (UTC)
published: Wed Dec 16 2020 18:56:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト