任意の形状のシーンテキストの検出と認識は、テキスト行の方向、長さ、曲率などのテキスト形状のバリエーションが非常に豊富であるため、依然として大きな課題です。このペーパーでは、シーンテキストを検出して修正するマスクガイド付きマルチタスクネットワークを紹介します。確実に任意の形状の。中心線を指定する3種類のキーポイントが検出されるため、テキストインスタンスの形状が正確になります。さらに、4種類のキーポイントリンクが検出され、水平リンクは各テキストインスタンスの検出されたキーポイントを関連付け、垂直リンクはそれぞれテキストの上限と下限に沿ったランドマークポイントのペア(各キーポイント)を予測します。シーンテキストは、関連するランドマークポイントをリンクし(ローカリゼーションポリゴンボックスを提供)、薄板スプラインを介してポリゴンボックスを変換することにより、それぞれ検索および修正できます。いくつかの公開データセットでの広範な実験により、テキストキーポイントの使用は、テキストの向き、長さ、曲率の変化に耐性があり、最先端の方法と比較して優れたシーンテキストの検出と修正のパフォーマンスを実現することが示されています。
Detection and recognition of scene texts of arbitrary shapes remain a grand challenge due to the super-rich text shape variation in text line orientations, lengths, curvatures, etc. This paper presents a mask-guided multi-task network that detects and rectifies scene texts of arbitrary shapes reliably. Three types of keypoints are detected which specify the centre line and so the shape of text instances accurately. In addition, four types of keypoint links are detected of which the horizontal links associate the detected keypoints of each text instance and the vertical links predict a pair of landmark points (for each keypoint) along the upper and lower text boundary, respectively. Scene texts can be located and rectified by linking up the associated landmark points (giving localization polygon boxes) and transforming the polygon boxes via thin plate spline, respectively. Extensive experiments over several public datasets show that the use of text keypoints is tolerant to the variation in text orientations, lengths, and curvatures, and it achieves superior scene text detection and rectification performance as compared with state-of-the-art methods.