arXiv reaDer
INRベースのGANのためのメモリ効率の高いパッチベースのトレーニング
Memory Efficient Patch-based Training for INR-based GANs
最近の研究では、暗黙の神経表現(INR)に基づくGANの目覚ましい進歩が示されています。これは、(x、y)座標を指定してRGB値を生成するMLPです。これらは、ピクセルの2D配列ではなく、基礎となる2D信号の連続バージョンとして画像を表します。これにより、GANアプリケーション(ゼロショット超解像、画像のアウトペインティングなど)の新しい視野が開かれます。ただし、既存のアプローチをトレーニングするには、すべての(x、y)座標に対してMLP演算を計算するため、画像の解像度に比例した重い計算コストが必要になります。この問題を軽減するために、多段階のパッチベースのトレーニングを提案します。これは、画像の解像度に関係なく、柔軟な計算コストでINRベースのGANをトレーニングできる斬新でスケーラブルなアプローチです。具体的には、私たちの方法は、パッチによって生成および識別して、画像の局所的な詳細を学習し、新しい再構成損失によって全体的な構造情報を学習して、効率的なGANトレーニングを可能にします。いくつかのベンチマークデータセットで実験を行い、私たちのアプローチがFIDを妥当なレベルに維持しながらGPUメモリのベースラインモデルを強化することを実証します。
Recent studies have shown remarkable progress in GANs based on implicit neural representation (INR) - an MLP that produces an RGB value given its (x, y) coordinate. They represent an image as a continuous version of the underlying 2D signal instead of a 2D array of pixels, which opens new horizons for GAN applications (e.g., zero-shot super-resolution, image outpainting). However, training existing approaches require a heavy computational cost proportional to the image resolution, since they compute an MLP operation for every (x, y) coordinate. To alleviate this issue, we propose a multi-stage patch-based training, a novel and scalable approach that can train INR-based GANs with a flexible computational cost regardless of the image resolution. Specifically, our method allows to generate and discriminate by patch to learn the local details of the image and learn global structural information by a novel reconstruction loss to enable efficient GAN training. We conduct experiments on several benchmark datasets to demonstrate that our approach enhances baseline models in GPU memory while maintaining FIDs at a reasonable level.
updated: Sat Jul 09 2022 02:50:19 GMT+0000 (UTC)
published: Mon Jul 04 2022 13:28:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト