この論文は、芸術的なスタイルの転送のための動的ResBlock生成的敵対的ネットワーク(DRB-GAN)を提案しています。スタイルコードは、スタイルエンコーディングネットワークとスタイル転送ネットワークの両方を接続するDynamicResBlocksの共有パラメーターとしてモデル化されます。スタイルエンコーディングネットワークでは、スタイルクラスを認識する注意メカニズムを使用して、スタイルコードを生成するためのスタイル特徴表現に参加します。スタイル転送ネットワークでは、複数のDynamic ResBlockが、スタイルコードと抽出されたCNNセマンティック機能を統合し、空間ウィンドウのレイヤーインスタンス正規化(SW-LIN)デコーダーにフィードするように設計されています。これにより、芸術的なスタイルの高品質な合成画像が可能になります。移行。さらに、スタイルコレクション条件付き弁別器は、DRB-GANモデルに、トレーニング段階での任意のスタイル転送とコレクションスタイル転送の両方の機能を装備するように設計されています。任意のスタイルの転送またはコレクションスタイルの転送に関係なく、広範な実験により、提案されたDRB-GANが最先端の方法よりも優れており、視覚的な品質と効率の点で優れたパフォーマンスを発揮することが強く示されています。ソースコードはmagentahttps://github.com/xuwenju123/DRB-GANで入手できます。
The paper proposes a Dynamic ResBlock Generative Adversarial Network (DRB-GAN) for artistic style transfer. The style code is modeled as the shared parameters for Dynamic ResBlocks connecting both the style encoding network and the style transfer network. In the style encoding network, a style class-aware attention mechanism is used to attend the style feature representation for generating the style codes. In the style transfer network, multiple Dynamic ResBlocks are designed to integrate the style code and the extracted CNN semantic feature and then feed into the spatial window Layer-Instance Normalization (SW-LIN) decoder, which enables high-quality synthetic images with artistic style transfer. Moreover, the style collection conditional discriminator is designed to equip our DRB-GAN model with abilities for both arbitrary style transfer and collection style transfer during the training stage. No matter for arbitrary style transfer or collection style transfer, extensive experiments strongly demonstrate that our proposed DRB-GAN outperforms state-of-the-art methods and exhibits its superior performance in terms of visual quality and efficiency. Our source code is available at magentahttps://github.com/xuwenju123/DRB-GAN.