arXiv reaDer
STEFANN: Scene Text Editor using Font Adaptive Neural Network
 キャプチャされたシーンのテキスト情報は、シーンの解釈と意思決定において重要な役割を果たします。シーンに存在する複雑なテキスト領域を正常に検出して解釈できる方法は存在しますが、私たちの知る限りでは、画像のテキスト情報を変更することを目的とした重要な先行研究はありません。画像上のテキストを直接編集する機能には、エラー修正、テキストの復元、画像の再利用性など、いくつかの利点があります。本稿では、画像中のテキストを文字レベルで修正する方法を提案する。 2つの段階で問題に取り組みます。最初に、未観測の文字(ターゲット)は、変更された観測された文字(ソース)から生成されます。 2つの異なるニューラルネットワークアーキテクチャを提案します。(a)FANnetはソースフォントとの構造的な一貫性を実現し、(b)Colornetはソースの色を保持します。次に、ソースキャラクターを生成されたキャラクターに置き換え、隣接するキャラクターとの幾何学的および視覚的な一貫性を維持します。私たちの方法は、画像内のテキストを変更するための統合プラットフォームとして機能します。 COCO-TextおよびICDARデータセットに対する本手法の効果を定性的および定量的に示します。
Textual information in a captured scene plays an important role in scene interpretation and decision making. Though there exist methods that can successfully detect and interpret complex text regions present in a scene, to the best of our knowledge, there is no significant prior work that aims to modify the textual information in an image. The ability to edit text directly on images has several advantages including error correction, text restoration and image reusability. In this paper, we propose a method to modify text in an image at character-level. We approach the problem in two stages. At first, the unobserved character (target) is generated from an observed character (source) being modified. We propose two different neural network architectures - (a) FANnet to achieve structural consistency with source font and (b) Colornet to preserve source color. Next, we replace the source character with the generated character maintaining both geometric and visual consistency with neighboring characters. Our method works as a unified platform for modifying text in images. We present the effectiveness of our method on COCO-Text and ICDAR datasets both qualitatively and quantitatively.
updated: Wed Mar 29 2023 17:30:25 GMT+0000 (UTC)
published: Mon Mar 04 2019 11:56:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト