テキスト画像のコンテンツをその外観のすべての側面から解きほぐすための新しいアプローチを提示します。次に、導出した外観表現を新しいコンテンツに適用して、ソーススタイルを新しいコンテンツにワンショットで転送できます。この解きほぐしは、自己管理方式で学習します。私たちの方法は、背景からのテキストのセグメンテーション、文字ごとの処理、または文字列の長さの仮定を必要とせずに、単語ボックス全体を処理します。シーンテキスト、手書きテキストなど、以前は特殊な方法で処理されていたさまざまなテキストドメインで結果を表示します。これらの目的のために、私たちは多くの技術的貢献をします。(1)テキスト画像のスタイルとコンテンツをノンパラメトリックな固定次元ベクトルに解きほぐします。 (2)StyleGANに触発されたが、異なる解像度とコンテンツでサンプルスタイルを条件とした新しいアプローチを提案します。 (3)事前にトレーニングされたフォント分類子とテキスト認識機能を使用して、ソーススタイルとターゲットコンテンツの両方を保持する新しい自己教師ありトレーニング基準を提示します。最後に、(4)手書きの単語画像用の新しい挑戦的なデータセットであるImgur5Kも紹介します。私たちは、私たちの方法の多くの定性的なフォトリアリスティックな結果を提供します。さらに、シーンテキストと手書きデータセットの定量的テスト、およびユーザースタディで、この方法が以前の作業を上回っていることを示します。
We present a novel approach for disentangling the content of a text image from all aspects of its appearance. The appearance representation we derive can then be applied to new content, for one-shot transfer of the source style to new content. We learn this disentanglement in a self-supervised manner. Our method processes entire word boxes, without requiring segmentation of text from background, per-character processing, or making assumptions on string lengths. We show results in different text domains which were previously handled by specialized methods, e.g., scene text, handwritten text. To these ends, we make a number of technical contributions: (1) We disentangle the style and content of a textual image into a non-parametric, fixed-dimensional vector. (2) We propose a novel approach inspired by StyleGAN but conditioned over the example style at different resolution and content. (3) We present novel self-supervised training criteria which preserve both source style and target content using a pre-trained font classifier and text recognizer. Finally, (4) we also introduce Imgur5K, a new challenging dataset for handwritten word images. We offer numerous qualitative photo-realistic results of our method. We further show that our method surpasses previous work in quantitative tests on scene text and handwriting datasets, as well as in a user study.