arXiv reaDer
列行もつれピクセル合成による効率的なスケール不変ジェネレータ
Efficient Scale-Invariant Generator with Column-Row Entangled Pixel Synthesis
任意スケールの画像合成は、2K 解像度を超えても、任意のスケールで写真のようにリアルな画像を合成するための効率的でスケーラブルなソリューションを提供します。ただし、既存の GAN ベースのソリューションは、畳み込みと階層アーキテクチャに過度に依存しており、出力解像度をスケーリングする際に矛盾と「テクスチャ スティッキング」の問題が発生します。巨大なメモリフットプリントと遅い推論は、これらのネットワークが大規模またはリアルタイムシステムに採用されるのを妨げています. この作業では、効率的でスケール等価な新しい生成モデルである列行エンタングルドピクセル合成 (CREPS) を提案しますメモリフットプリントを節約し、システムをスケーラブルにするために、レイヤーごとの特徴マップを個別の「厚い」列と行のエンコーディングに分解する新しいバイライン表現を採用しています。 FFHQ、LSUN-Church、MetFaces、Flickr-Scenery などのさまざまなデータセットでの実験により、適切なトレーニングと推論速度で任意の解像度でスケールの一貫したエイリアスのない画像を合成する CREPS の能力が確認されました。コードは https://github.com/VinAIResearch/CREPS で入手できます。
Any-scale image synthesis offers an efficient and scalable solution to synthesize photo-realistic images at any scale, even going beyond 2K resolution. However, existing GAN-based solutions depend excessively on convolutions and a hierarchical architecture, which introduce inconsistency and the ``texture sticking" issue when scaling the output resolution. From another perspective, INR-based generators are scale-equivariant by design, but their huge memory footprint and slow inference hinder these networks from being adopted in large-scale or real-time systems. In this work, we propose Column-Row Entangled Pixel Synthesis (CREPS), a new generative model that is both efficient and scale-equivariant without using any spatial convolutions or coarse-to-fine design. To save memory footprint and make the system scalable, we employ a novel bi-line representation that decomposes layer-wise feature maps into separate ``thick" column and row encodings. Experiments on various datasets, including FFHQ, LSUN-Church, MetFaces, and Flickr-Scenery, confirm CREPS' ability to synthesize scale-consistent and alias-free images at any arbitrary resolution with proper training and inference speed. Code is available at https://github.com/VinAIResearch/CREPS.
updated: Tue Apr 25 2023 08:49:08 GMT+0000 (UTC)
published: Fri Mar 24 2023 17:12:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト