arXiv reaDer
StyTr^2: トランスフォーマーによるバイアスのない画像スタイルの転送
StyTr^2: Unbiased Image Style Transfer with Transformers
画像スタイルの転送の目的は、元のコンテンツを維持しながら、スタイル参照によって導かれる芸術的な特徴を持つ画像をレンダリングすることです。 CNN の局所性と空間的不変性のため、入力画像のグローバル情報を抽出して維持することは困難です。したがって、従来のニューラル スタイル転送方法は通常、バイアスがかかっており、同じ参照スタイル イメージを使用してスタイル転送プロセスを数回実行することで、コンテンツ リークを観察できます。この重大な問題に対処するために、トランスフォーマーベースのアプローチ、つまり StyTr^2 を提案することにより、バイアスのないスタイル転送のために入力画像の長距離依存性を考慮します。他のビジョン タスクのビジュアル トランスフォーマーとは対照的に、StyTr^2 には 2 つの異なるトランスフォーマー エンコーダーが含まれており、それぞれコンテンツとスタイルのドメイン固有のシーケンスを生成します。エンコーダーに続いて、スタイル シーケンスに従ってコンテンツ シーケンスを定型化するために、マルチレイヤー トランスフォーマー デコーダーが採用されます。さらに、既存の位置エンコーディング方法の欠陥を分析し、スケール不変で画像スタイル転送タスクにより適したコンテンツ認識位置エンコーディング (CAPE) を提案します。定性的および定量的実験は、最先端の CNN ベースおよびフローベースのアプローチと比較して、提案された StyTr^2 の有効性を示しています。
The goal of image style transfer is to render an image with artistic features guided by a style reference while maintaining the original content. Due to the locality and spatial invariance in CNNs, it is difficult to extract and maintain the global information of input images. Therefore, traditional neural style transfer methods are usually biased and content leak can be observed by running several times of the style transfer process with the same reference style image. To address this critical issue, we take long-range dependencies of input images into account for unbiased style transfer by proposing a transformer-based approach, namely StyTr^2. In contrast with visual transformers for other vision tasks, our StyTr^2 contains two different transformer encoders to generate domain-specific sequences for content and style, respectively. Following the encoders, a multi-layer transformer decoder is adopted to stylize the content sequence according to the style sequence. In addition, we analyze the deficiency of existing positional encoding methods and propose the content-aware positional encoding (CAPE) which is scale-invariant and more suitable for image style transfer task. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed StyTr^2 compared to state-of-the-art CNN-based and flow-based approaches.
updated: Tue Jun 08 2021 02:40:39 GMT+0000 (UTC)
published: Sun May 30 2021 15:57:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト