フォトリアリスティックなスタイル転送は、結果が実際の写真のように見えるようにしながら、別の画像のスタイルに一致するように画像を変更することを目的とした画像編集タスクです。既存のモデルの制限は、多くのパラメーターがあることです。これにより、より大きな画像解像度での使用が妨げられ、実行時間が遅くなります。最先端のスタイルの強さとフォトリアリズムを維持する、PhotoWCT ^ 2と呼ばれるよりコンパクトなモデルの設計を可能にする2つのメカニズムを紹介します。まず、PhotoWCTで使用される4つのオートエンコーダーの非効率的なカスケードの代わりに、単一のオートエンコーダーで最先端のスタイル化強度を可能にする粗い特徴から細かい特徴への変換を実行するブロックワイズトレーニングを紹介します。次に、連続的な粗い特徴から細かい特徴への変換を適用するときに画質を維持するために、高周波残差のスキップ接続を導入します。私たちのPhotoWCT ^ 2モデルは、より少ないパラメーター(たとえば、30.3%少ない)をサポートしながら、より高い解像度の画像(たとえば、4K)をサポートし、既存のモデルよりも高速なスタイル設定を実現します。
Photorealistic style transfer is an image editing task with the goal to modify an image to match the style of another image while ensuring the result looks like a real photograph. A limitation of existing models is that they have many parameters, which in turn prevents their use for larger image resolutions and leads to slower run-times. We introduce two mechanisms that enable our design of a more compact model that we call PhotoWCT^2, which preserves state-of-art stylization strength and photorealism. First, we introduce blockwise training to perform coarse-to-fine feature transformations that enable state-of-art stylization strength in a single autoencoder in place of the inefficient cascade of four autoencoders used in PhotoWCT. Second, we introduce skip connections of high-frequency residuals in order to preserve image quality when applying the sequential coarse-to-fine feature transformations. Our PhotoWCT^2 model requires fewer parameters (e.g., 30.3% fewer) while supporting higher resolution images (e.g., 4K) and achieving faster stylization than existing models.