画像スタイルの転送は、ソース画像または「コンテンツ」画像の外観を操作して、ターゲットの「スタイル」画像と同様のテクスチャと色を共有することを目的としています。理想的には、スタイル転送操作は、ソース画像のセマンティックコンテンツも保持する必要があります。スタイルの転送を支援するために一般的に使用されるアプローチは、グラム行列の最適化に基づいています。グラム行列ベースの最適化の問題の1つは、色とそのスタイルの相関関係を考慮していないことです。具体的には、特定のテクスチャまたは構造を特定の色に関連付ける必要があります。これは、ターゲットスタイルの画像が複数のスタイルタイプを示す場合に特に困難です。この作業では、スタイルと生成された画像の間のスタイルと色の相関関係を維持しながら、美的に満足のいく結果を生成する、色を意識したマルチスタイル転送方法を提案します。従来のグラム行列ベースのスタイル転送の最適化にシンプルで効率的な変更を導入することで、この望ましい結果を実現します。この方法の優れた機能は、ユーザーがターゲットスタイルとコンテンツ画像の間の色の関連付けを手動で選択できるため、転送の柔軟性が向上することです。 30人の参加者を対象に実施されたユーザー調査を含む、いくつかの定性的比較を使用して、メソッドを検証しました。以前の作業と比較して、私たちの方法はシンプルで実装が簡単で、複数のスタイルを持つ画像をターゲットにしたときに視覚的に魅力的な結果を実現します。ソースコードはhttps://github.com/mahmoudnafifi/color-aware-style-transferで入手できます。
Image style transfer aims to manipulate the appearance of a source image, or "content" image, to share similar texture and colors of a target "style" image. Ideally, the style transfer manipulation should also preserve the semantic content of the source image. A commonly used approach to assist in transferring styles is based on Gram matrix optimization. One problem of Gram matrix-based optimization is that it does not consider the correlation between colors and their styles. Specifically, certain textures or structures should be associated with specific colors. This is particularly challenging when the target style image exhibits multiple style types. In this work, we propose a color-aware multi-style transfer method that generates aesthetically pleasing results while preserving the style-color correlation between style and generated images. We achieve this desired outcome by introducing a simple but efficient modification to classic Gram matrix-based style transfer optimization. A nice feature of our method is that it enables the users to manually select the color associations between the target style and content image for more transfer flexibility. We validated our method with several qualitative comparisons, including a user study conducted with 30 participants. In comparison with prior work, our method is simple, easy to implement, and achieves visually appealing results when targeting images that have multiple styles. Source code is available at https://github.com/mahmoudnafifi/color-aware-style-transfer.