arXiv reaDer
Multimodal Style Transfer via Graph Cuts
 最近のニューラルスタイルの転送方法で広く使用されている仮定は、グラムや共分散行列などの深い特徴のグローバルスタティックによって画像スタイルを記述できることです。別のアプローチは、スタイルをローカルピクセルまたはニューラルパッチに分解することで表現しています。最近の進歩にもかかわらず、ほとんどの既存のメソッドはスタイルイメージのセマンティックパターンを均一に処理し、複雑なスタイルで不快な結果をもたらします。このホワイトペーパーでは、より柔軟で一般的なユニバーサルスタイル転送手法、マルチモーダルスタイル転送(MST)を紹介します。 MSTは、コンテンツ画像とスタイル画像のセマンティックパターンの一致を明示的に考慮します。具体的には、スタイルイメージ機能はサブスタイルコンポーネントにクラスター化され、グラフカット定式化のローカルコンテンツ機能と一致します。再構成ネットワークは、各サブスタイルを転送し、最終的な定型化された結果をレンダリングするようにトレーニングされます。また、MSTを一般化して、既存の方法を改善します。広範な実験により、MSTの優れた効果、堅牢性、柔軟性が実証されています。
An assumption widely used in recent neural style transfer methods is that image styles can be described by global statics of deep features like Gram or covariance matrices. Alternative approaches have represented styles by decomposing them into local pixel or neural patches. Despite the recent progress, most existing methods treat the semantic patterns of style image uniformly, resulting unpleasing results on complex styles. In this paper, we introduce a more flexible and general universal style transfer technique: multimodal style transfer (MST). MST explicitly considers the matching of semantic patterns in content and style images. Specifically, the style image features are clustered into sub-style components, which are matched with local content features under a graph cut formulation. A reconstruction network is trained to transfer each sub-style and render the final stylized result. We also generalize MST to improve some existing methods. Extensive experiments demonstrate the superior effectiveness, robustness, and flexibility of MST.
updated: Tue Jan 07 2020 15:03:47 GMT+0000 (UTC)
published: Tue Apr 09 2019 03:23:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト