ほとんどの既存の学習システムでは、画像は通常2Dピクセル配列として表示されます。ただし、人気が高まっている別のパラダイムでは、2D画像は暗黙の神経表現(INR)として表されます。これは、(x、y)座標を指定してRGBピクセル値を予測するMLPです。この論文では、INRベースの画像デコーダを構築するための2つの新しいアーキテクチャ手法を提案します。因数分解された乗法変調とマルチスケールINRであり、それらを使用して最先端の連続画像GANを構築します。画像生成にINRを適応させる以前の試みは、MNISTのようなデータセットに限定されており、複雑な実世界のデータに拡張することはできませんでした。提案されたINR-GANアーキテクチャは、連続画像ジェネレータのパフォーマンスを数倍向上させ、連続画像GANとピクセルベースのGANの間のギャップを大幅に削減します。それとは別に、すぐに使用できる超解像、意味のある画像空間補間、低解像度画像の高速推論、画像境界の外側を外挿する機能など、INRベースのデコーダーのいくつかのエキサイティングなプロパティを調査します。強い幾何学的な事前。プロジェクトページはhttps://universome.github.io/inr-ganにあります。
In most existing learning systems, images are typically viewed as 2D pixel arrays. However, in another paradigm gaining popularity, a 2D image is represented as an implicit neural representation (INR) - an MLP that predicts an RGB pixel value given its (x,y) coordinate. In this paper, we propose two novel architectural techniques for building INR-based image decoders: factorized multiplicative modulation and multi-scale INRs, and use them to build a state-of-the-art continuous image GAN. Previous attempts to adapt INRs for image generation were limited to MNIST-like datasets and do not scale to complex real-world data. Our proposed INR-GAN architecture improves the performance of continuous image generators by several times, greatly reducing the gap between continuous image GANs and pixel-based ones. Apart from that, we explore several exciting properties of the INR-based decoders, like out-of-the-box superresolution, meaningful image-space interpolation, accelerated inference of low-resolution images, an ability to extrapolate outside of image boundaries, and strong geometric prior. The project page is located at https://universome.github.io/inr-gan.