arXiv reaDer
Deep Neural Network for Semantic-based Text Recognition in Images
 最先端のテキストスポッティングシステムは、通常、自然のシーンの画像内の孤立した単語または単語ごとのテキストを検出し、テキストの領域内の意味的一貫性を無視することを目的としています。ただし、一緒に解釈すると、一見孤立した単語の方が認識しやすくなる場合があります。これに基づいて、コンテキストを理解する助けを借りて画像内のテキストを読み取る、新しい「意味ベースのテキスト認識」(STR)深層学習モデルを提案します。 STRはいくつかのモジュールで構成されています。 Text Grouping and Arranging(TGA)アルゴリズムを導入して、分離されたテキスト領域を接続および順序付けします。テキスト認識ネットワークは、孤立した単語を解釈します。意味情報の恩恵を受けて、シーケンス間ネットワークモデルは、STRパイプラインの初期に生成された不正確で不確実なフレーズを効率的に修正します。インテリアデザインのスキャンされたカタログ画像と手書きのサインが付いた抗議者の写真をそれぞれ含む2つの新しい別個のデータセットの実験を提示します。この結果は、STRモデルが両方のデータセットで最先端の単一単語認識手法を使用するベースラインメソッドよりも優れていることを示しています。 STRは、カタログ画像で90%、より困難な抗議画像で71%の高い精度をもたらし、テキストの認識における一般性を示唆しています。
State-of-the-art text spotting systems typically aim to detect isolated words or word-by-word text in images of natural scenes and ignore the semantic coherence within a region of text. However, when interpreted together, seemingly isolated words may be easier to recognize. On this basis, we propose a novel "semantic-based text recognition" (STR) deep learning model that reads text in images with the help of understanding context. STR consists of several modules. We introduce the Text Grouping and Arranging (TGA) algorithm to connect and order isolated text regions. A text-recognition network interprets isolated words. Benefiting from semantic information, a sequenceto-sequence network model efficiently corrects inaccurate and uncertain phrases produced earlier in the STR pipeline. We present experiments on two new distinct datasets that contain scanned catalog images of interior designs and photographs of protesters with hand-written signs, respectively. Our results show that our STR model outperforms a baseline method that uses state-of-the-art single-wordrecognition techniques on both datasets. STR yields a high accuracy rate of 90% on the catalog images and 71% on the more difficult protest images, suggesting its generality in recognizing text.
updated: Mon Dec 09 2019 19:46:11 GMT+0000 (UTC)
published: Sun Aug 04 2019 21:32:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト