arXiv reaDer
Non-Local Representation based Mutual Affine-Transfer Network for Photorealistic Stylization
フォトリアリスティックなスタイル設定は、参照写真のスタイルを自然な方法でコンテンツ写真に転送することを目的としており、スタイル設定された画像はカメラで撮影された実際の写真のように見えます。最先端の方法は、一致した各セマンティック領域内で画像をローカルに定型化し、セマンティックオブジェクト/パーツ間でグローバルな色の不一致が発生しやすく、定型化された画像の写実性を低下させます。困難な問題に取り組むために、相互アフィン転送ネットワーク(NL-MAT)で制約された非ローカル表現スキームを提案します。辞書ベースの分解により、NL-MATは、画像ペア間の一致した非ローカル表現と色情報を正常に分離できるため、画像ペア間のコンテキスト対応が自然に組み込まれ、グローバルでのローカルスタイルの転送が大幅に容易になります。 -一貫したファッション。私たちの知る限り、これは非局所表現スキームを使用してフォトリアリスティックなスタイル化の問題に対処する最初の試みであり、スタイル化中にセマンティックマッチングのための追加のモデルやステップは必要ありません。実験結果は、提案された方法が、コンテンツ画像の空間構造と全体的な色の一貫性の両方を維持しながら、ローカルスタイルの転送でフォトリアリスティックな結果を生成できることを示しています。
Photorealistic stylization aims to transfer the style of a reference photo onto a content photo in a natural fashion, such that the stylized image looks like a real photo taken by a camera. State-of-the-art methods stylize the image locally within each matched semantic region and are prone to global color inconsistency across semantic objects/parts, making the stylized image less photorealistic. To tackle the challenging issues, we propose a non-local representation scheme, constrained with a mutual affine-transfer network (NL-MAT). Through a dictionary-based decomposition, NL-MAT is able to successfully decouple matched non-local representations and color information of the image pair, such that the context correspondence between the image pair is incorporated naturally, which largely facilitates local style transfer in a global-consistent fashion. To the best of our knowledge, this is the first attempt to address the photorealistic stylization problem with a non-local representation scheme, such that no additional models or steps for semantic matching are required during stylization. Experimental results demonstrate that the proposed method is able to generate photorealistic results with local style transfer while preserving both the spatial structure and global color consistency of the content image.
updated: Tue Jul 06 2021 03:02:07 GMT+0000 (UTC)
published: Wed Jul 24 2019 07:21:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト