芸術的スタイルの転写は、元の全体的な内容を維持しながら、アートワークのスタイルを写真に転写することを目的としています。これまでの研究の多くは、スタイル統計をコンテンツ画像に転送するためのさまざまな転送モジュールの設計に焦点を当てていました。効果的ではありますが、コンテンツの特徴とスタイルの特徴が最初から明確に分離されていることを無視していますが、コンテンツの保存とスタイルの転送の間でバランスを取るのが困難です。この問題に取り組むために、事前にトレーニングされたエンコーディング ネットワークからコンテンツとスタイル表現の両方について十分な最小限の情報を取得する、InfoStyler という名前の新しい情報のもつれを解く方法を提案します。 InfoStyler は、コンテンツ イメージからスタイル統計を削除し、スタイル イメージからコンテンツ構造を削除することにより、もつれ解除表現学習を情報圧縮問題として定式化します。さらに、もつれ解除学習をさらに促進するために、コンテンツとスタイルのドメインを再構成することにより、クロスドメインの情報ボトルネック (IB) 学習戦略が提案されます。広範な実験により、InfoStyler がコンテンツ構造の保持とスタイル パターンの豊富さのバランスをとりながら、高品質の様式化された画像を合成できることが実証されました。
Artistic style transfer aims to transfer the style of an artwork to a photograph while maintaining its original overall content. Many prior works focus on designing various transfer modules to transfer the style statistics to the content image. Although effective, ignoring the clear disentanglement of the content features and the style features from the first beginning, they have difficulty in balancing between content preservation and style transferring. To tackle this problem, we propose a novel information disentanglement method, named InfoStyler, to capture the minimal sufficient information for both content and style representations from the pre-trained encoding network. InfoStyler formulates the disentanglement representation learning as an information compression problem by eliminating style statistics from the content image and removing the content structure from the style image. Besides, to further facilitate disentanglement learning, a cross-domain Information Bottleneck (IB) learning strategy is proposed by reconstructing the content and style domains. Extensive experiments demonstrate that our InfoStyler can synthesize high-quality stylized images while balancing content structure preservation and style pattern richness.