ほとんどの既存のスタイル転送方法は、スタイルをグローバル統計(グラム行列や共分散行列など)で表すことができるという仮定に従っており、出力画像とスタイル画像に同様のグローバル統計を強制することで問題に対処します。別の方法は、ローカルスタイルパターンの仮定です。アルゴリズムは、コンテンツとスタイルイメージの類似したローカル機能を交換するように設計されています。ただし、これらの既存のメソッドの制限は、コンテンツイメージのセマンティック構造を無視することであり、出力のコンテンツ構造が破損する可能性があります。この論文では、同じセマンティック領域からの画像特徴がマニフォールドを形成し、複数のセマンティック領域を持つ画像がマルチマニフォールド分布に従うという新しい仮定を立てます。この仮定に基づいて、スタイル転送問題は、2つのマルチマニホールド分布を整列させるように定式化され、マニホールド整列ベースのスタイル転送(MAST)フレームワークが提案されます。提案されたフレームワークは、出力とスタイル画像の間の意味的に類似した領域が類似したスタイルパターンを共有することを可能にします。さらに、提案されたマニホルド位置合わせ方法は、ユーザーがスタイル転送のガイダンスとしてセマンティックセグメンテーションマップを編集または使用できるように柔軟性があります。この方法をフォトリアリスティックなスタイルの転送に適用できるようにするために、コンテンツの詳細を保持するための新しい適応型ウェイトスキップ接続ネットワーク構造を提案します。広範な実験により、芸術的およびフォトリアリスティックなスタイルの転送の両方に対して提案されたフレームワークの有効性が検証されます。コードはhttps://github.com/NJUHuoJing/MASTで入手できます。
Most existing style transfer methods follow the assumption that styles can be represented with global statistics (e.g., Gram matrices or covariance matrices), and thus address the problem by forcing the output and style images to have similar global statistics. An alternative is the assumption of local style patterns, where algorithms are designed to swap similar local features of content and style images. However, the limitation of these existing methods is that they neglect the semantic structure of the content image which may lead to corrupted content structure in the output. In this paper, we make a new assumption that image features from the same semantic region form a manifold and an image with multiple semantic regions follows a multi-manifold distribution. Based on this assumption, the style transfer problem is formulated as aligning two multi-manifold distributions and a Manifold Alignment based Style Transfer (MAST) framework is proposed. The proposed framework allows semantically similar regions between the output and the style image share similar style patterns. Moreover, the proposed manifold alignment method is flexible to allow user editing or using semantic segmentation maps as guidance for style transfer. To allow the method to be applicable to photorealistic style transfer, we propose a new adaptive weight skip connection network structure to preserve the content details. Extensive experiments verify the effectiveness of the proposed framework for both artistic and photorealistic style transfer. Code is available at https://github.com/NJUHuoJing/MAST.