arXiv reaDer
StyTr ^ 2:トランスフォーマーを使用した画像スタイルの転送
StyTr^2: Image Style Transfer with Transformers
画像スタイル転送の目的は、元のコンテンツを維持しながら、スタイル参照によってガイドされる芸術的な機能を備えた画像をレンダリングすることです。畳み込みニューラルネットワーク(CNN)の局所性のため、入力画像のグローバル情報を抽出して維持することは困難です。したがって、従来のニューラルスタイルの転送方法は、偏ったコンテンツ表現に直面します。この重大な問題に対処するために、StyTr ^ 2と呼ばれるトランスフォーマーベースのアプローチを提案することにより、入力画像の長距離依存性を画像スタイルの転送に考慮します。他のビジョンタスク用のビジュアルトランスフォーマーとは対照的に、StyTr ^ 2には、コンテンツとスタイルのドメイン固有のシーケンスをそれぞれ生成する2つの異なるトランスフォーマーエンコーダーが含まれています。エンコーダーに続いて、マルチレイヤートランスフォーマーデコーダーが採用され、スタイルシーケンスに従ってコンテンツシーケンスをスタイル設定します。また、既存の位置エンコード方式の欠点を分析し、スケール不変で画像スタイルの転送タスクにより適したコンテンツ認識位置エンコード(CAPE)を提案します。定性的および定量的実験は、最先端のCNNベースおよびフローベースのアプローチと比較して、提案されたStyTr^2の有効性を示しています。コードとモデルはhttps://github.com/diyiiyiii/StyTR-2で入手できます。
The goal of image style transfer is to render an image with artistic features guided by a style reference while maintaining the original content. Owing to the locality in convolutional neural networks (CNNs), extracting and maintaining the global information of input images is difficult. Therefore, traditional neural style transfer methods face biased content representation. To address this critical issue, we take long-range dependencies of input images into account for image style transfer by proposing a transformer-based approach called StyTr^2. In contrast with visual transformers for other vision tasks, StyTr^2 contains two different transformer encoders to generate domain-specific sequences for content and style, respectively. Following the encoders, a multi-layer transformer decoder is adopted to stylize the content sequence according to the style sequence. We also analyze the deficiency of existing positional encoding methods and propose the content-aware positional encoding (CAPE), which is scale-invariant and more suitable for image style transfer tasks. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed StyTr^2 compared with state-of-the-art CNN-based and flow-based approaches. Code and models are available at https://github.com/diyiiyiii/StyTR-2.
updated: Fri Apr 01 2022 09:05:25 GMT+0000 (UTC)
published: Sun May 30 2021 15:57:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト