SinGANは、有効な受容野が限られているにもかかわらず、内部パッチ分布を学習する優れた能力を示しています。このような並進不変畳み込みジェネレーターが、空間的にiidの入力だけでグローバル構造をキャプチャする方法を知りたいと考えています。この作業では、SinGANとStyleGAN2を例として取り上げ、ジェネレーターでゼロパディングを使用する場合に、そのような機能の大部分が暗黙的な位置エンコードによってもたらされることを示します。このような位置符号化は、忠実度の高い画像を生成するために不可欠です。同じ現象は、DCGANやPGGANなどの他の生成アーキテクチャでも見られます。さらに、パディングがゼロの場合、場所間の関係があいまいな不均衡な空間バイアスが発生することを示します。より良い空間誘導バイアスを提供するために、代替の位置エンコーディングを調査し、それらの効果を分析します。より柔軟な位置エンコーディングを明示的に基づいて、新しいマルチスケールトレーニング戦略を提案し、最先端の無条件ジェネレーターStyleGAN2でその有効性を示します。さらに、明示的な空間誘導バイアスにより、SinGANが大幅に改善され、より用途の広い画像操作が可能になります。
SinGAN shows impressive capability in learning internal patch distribution despite its limited effective receptive field. We are interested in knowing how such a translation-invariant convolutional generator could capture the global structure with just a spatially i.i.d. input. In this work, taking SinGAN and StyleGAN2 as examples, we show that such capability, to a large extent, is brought by the implicit positional encoding when using zero padding in the generators. Such positional encoding is indispensable for generating images with high fidelity. The same phenomenon is observed in other generative architectures such as DCGAN and PGGAN. We further show that zero padding leads to an unbalanced spatial bias with a vague relation between locations. To offer a better spatial inductive bias, we investigate alternative positional encodings and analyze their effects. Based on a more flexible positional encoding explicitly, we propose a new multi-scale training strategy and demonstrate its effectiveness in the state-of-the-art unconditional generator StyleGAN2. Besides, the explicit spatial inductive bias substantially improve SinGAN for more versatile image manipulation.