arXiv reaDer
ドメイン対応のユニバーサルスタイル転送
Domain-Aware Universal Style Transfer
スタイル転送は、参照画像のスタイルを使用してコンテンツ画像を再現することを目的としています。既存のユニバーサルスタイル転送方法は、芸術的またはフォトリアリスティックな方法で、任意のスタイルを元の画像に正常に配信します。しかし、既存の作品によって定義された「任意のスタイル」の範囲は、それらの構造上の制限のために特定の領域に制限されています。具体的には、コンテンツの保存と様式化の程度は、事前定義されたターゲットドメインに従って確立されます。その結果、フォトリアリスティックモデルとアーティスティックモデルの両方で、他のドメインに必要なスタイルの転送を実行することが困難になります。この制限を克服するために、特定の参照画像からスタイルだけでなくドメインのプロパティ(つまり、ドメイン性)も転送する統合アーキテクチャであるドメイン対応スタイル転送ネットワーク(DSTN)を提案します。この目的のために、参照画像のテクスチャと構造的特徴からドメイン性の値をキャプチャする新しいドメイン性インジケータを設計します。さらに、ドメイン対応のスキップ接続を備えた統合フレームワークを導入して、ドメイン性インジケーターによってガイドされる入力コンテンツにストロークとパレットを適応的に転送します。私たちの広範な実験は、私たちのモデルがより良い定性的な結果を生み出し、芸術的および写実的な様式の両方でプロキシメトリックの点で以前の方法よりも優れていることを検証します。
Style transfer aims to reproduce content images with the styles from reference images. Existing universal style transfer methods successfully deliver arbitrary styles to original images either in an artistic or a photo-realistic way. However, the range of 'arbitrary style' defined by existing works is bounded in the particular domain due to their structural limitation. Specifically, the degrees of content preservation and stylization are established according to a predefined target domain. As a result, both photo-realistic and artistic models have difficulty in performing the desired style transfer for the other domain. To overcome this limitation, we propose a unified architecture, Domain-aware Style Transfer Networks (DSTN) that transfer not only the style but also the property of domain (i.e., domainness) from a given reference image. To this end, we design a novel domainness indicator that captures the domainness value from the texture and structural features of reference images. Moreover, we introduce a unified framework with domain-aware skip connection to adaptively transfer the stroke and palette to the input contents guided by the domainness indicator. Our extensive experiments validate that our model produces better qualitative results and outperforms previous methods in terms of proxy metrics on both artistic and photo-realistic stylizations.
updated: Tue Aug 10 2021 04:22:16 GMT+0000 (UTC)
published: Tue Aug 10 2021 04:22:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト