arXiv reaDer
CooGAN:高解像度の顔属性編集のためのメモリ効率の高いフレームワーク
CooGAN: A Memory-Efficient Framework for High-Resolution Facial Attribute Editing
低解像度でのメモリを消費する顔編集方法の大成功とは対照的に、非常に限られたメモリで高解像度(HR)の顔画像、つまり通常7682ピクセルを超える画像を操作することは依然として困難です。これは、1)メモリの手に負えない巨大な需要の理由によるものです。 2)非効率的なマルチスケール機能の融合。これらの問題に対処するために、HR顔画像編集用のCooperative GAN(CooGAN)と呼ばれるNOVELピクセル変換フレームワークを提案します。このフレームワークは、きめ細かいローカル顔パッチ生成(つまり、パッチレベルHR、LOWメモリ)のローカルパスと、グローバル低解像度(LR)顔構造モニタリング(つまり、画像レベルLR、LOWメモリ)のグローバルパスを備えています。これにより、メモリ要件が大幅に削減されます。両方のパスは、ローカルからグローバルへの一貫性の目的の下で協調的に機能します(つまり、スムーズなステッチングのために)。さらに、より効率的なマルチスケール特徴融合のためのより軽い選択的転送ユニットを提案し、より忠実な顔属性操作をもたらします。 CelebAHQでの広範な実験は、提案されたフレームワークのメモリ効率と高い画像生成品質をよく示しています。
In contrast to great success of memory-consuming face editing methods at a low resolution, to manipulate high-resolution (HR) facial images, i.e., typically larger than 7682 pixels, with very limited memory is still challenging. This is due to the reasons of 1) intractable huge demand of memory; 2) inefficient multi-scale features fusion. To address these issues, we propose a NOVEL pixel translation framework called Cooperative GAN(CooGAN) for HR facial image editing. This framework features a local path for fine-grained local facial patch generation (i.e., patch-level HR, LOW memory) and a global path for global lowresolution (LR) facial structure monitoring (i.e., image-level LR, LOW memory), which largely reduce memory requirements. Both paths work in a cooperative manner under a local-to-global consistency objective (i.e., for smooth stitching). In addition, we propose a lighter selective transfer unit for more efficient multi-scale features fusion, yielding higher fidelity facial attributes manipulation. Extensive experiments on CelebAHQ well demonstrate the memory efficiency as well as the high image generation quality of the proposed framework.
updated: Tue Nov 03 2020 08:40:00 GMT+0000 (UTC)
published: Tue Nov 03 2020 08:40:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト