arXiv reaDer
手書きトランスフォーマー
Handwriting Transformers
私たちは、スタイルとコンテンツの絡み合いだけでなく、グローバルおよびローカルのライティングスタイルパターンの両方を学習するよう努める、新しいトランスフォーマーベースのスタイル付き手書きテキスト画像生成アプローチHWTを提案します。提案されたHWTは、自己注意メカニズムを通じてスタイル例内の長距離と短距離の関係をキャプチャし、それによってグローバルスタイルパターンとローカルスタイルパターンの両方をエンコードします。さらに、提案されたトランスフォーマーベースのHWTは、各クエリ文字のスタイル表現を収集することによってスタイルとコンテンツのエンタングルメントを可能にするエンコーダーとデコーダーの注意を備えています。私たちの知る限り、私たちは、スタイル付きの手書きテキスト生成のためのトランスフォーマーベースの生成ネットワークを最初に導入しました。私たちが提案するHWTは、リアルなスタイルの手書きテキスト画像を生成し、広範な定性的、定量的、および人間ベースの評価を通じて実証された最先端技術を大幅に上回ります。提案されたHWTは、数ショットの設定で任意の長さのテキストと任意の文体を処理できます。さらに、私たちのHWTは、トレーニング中に単語と文体の両方が見えないという困難なシナリオにうまく一般化され、リアルなスタイルの手書きテキスト画像を生成します。
We propose a novel transformer-based styled handwritten text image generation approach, HWT, that strives to learn both style-content entanglement as well as global and local writing style patterns. The proposed HWT captures the long and short range relationships within the style examples through a self-attention mechanism, thereby encoding both global and local style patterns. Further, the proposed transformer-based HWT comprises an encoder-decoder attention that enables style-content entanglement by gathering the style representation of each query character. To the best of our knowledge, we are the first to introduce a transformer-based generative network for styled handwritten text generation. Our proposed HWT generates realistic styled handwritten text images and significantly outperforms the state-of-the-art demonstrated through extensive qualitative, quantitative and human-based evaluations. The proposed HWT can handle arbitrary length of text and any desired writing style in a few-shot setting. Further, our HWT generalizes well to the challenging scenario where both words and writing style are unseen during training, generating realistic styled handwritten text images.
updated: Thu Apr 08 2021 17:59:43 GMT+0000 (UTC)
published: Thu Apr 08 2021 17:59:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト