arXiv reaDer
On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
  シーンテキスト認識(STR)は、自然なシーンの文字シーケンスを認識するタスクです。 STRメソッドには大きな進歩がありますが、現在のメソッドは、日常生活に豊富な、大きく曲がったテキストや回転したテキストなど、任意の形状のテキストを認識できません(レストランの看板、製品ラベル、会社のロゴなど)。この論文では、任意の形状のテキストを認識する新しいアーキテクチャを紹介します。これは、トランスフォーマーに触発された自己注意テキスト認識ネットワーク(SATRN)です。 SATRNは自己注目メカニズムを利用して、シーンテキストイメージ内のキャラクターの2次元(2D)空間依存性を記述します。 SATRNは、自己注意のフルグラフ伝播を利用して、任意の配置と大きな文字間スペースを持つテキストを認識できます。その結果、「不規則なテキスト」ベンチマークでは、SATRNは既存のSTRモデルよりも平均で5.7 ppの大きなマージンで優れています。内部メカニズムとモデルの適用範囲(例:回転テキストや複数行テキスト)を示す実証分析を提供します。コードをオープンソース化します。
Scene text recognition (STR) is the task of recognizing character sequences in natural scenes. While there have been great advances in STR methods, current methods still fail to recognize texts in arbitrary shapes, such as heavily curved or rotated texts, which are abundant in daily life (e.g. restaurant signs, product labels, company logos, etc). This paper introduces a novel architecture to recognizing texts of arbitrary shapes, named Self-Attention Text Recognition Network (SATRN), which is inspired by the Transformer. SATRN utilizes the self-attention mechanism to describe two-dimensional (2D) spatial dependencies of characters in a scene text image. Exploiting the full-graph propagation of self-attention, SATRN can recognize texts with arbitrary arrangements and large inter-character spacing. As a result, SATRN outperforms existing STR models by a large margin of 5.7 pp on average in "irregular text" benchmarks. We provide empirical analyses that illustrate the inner mechanisms and the extent to which the model is applicable (e.g. rotated and multi-line text). We will open-source the code.
updated: Thu Oct 10 2019 07:20:54 GMT+0000 (UTC)
published: Thu Oct 10 2019 07:20:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト