オフラインの手書き数式認識 (HMER) は、エンコーダー/デコーダー方式の一部としてツリー デコーダーを採用することにより、最近劇的に進歩しました。ツリー デコーダ ベースの方法は式をツリーと見なし、2D 空間構造をツリー ノード シーケンスに解析しますが、既存の作業のパフォーマンスは、避けられないツリー ノードの予測エラーのために依然として貧弱です。さらに、式の出力を規制する構文規則がありません。この論文では、ツリー構造の予測誤差を軽減し、構文マスク (構文の変換から得られる) を使用するための空間的注意メカニズムを備えた、空間的注意および構文規則拡張ツリー デコーダ (SS-TD) と呼ばれる新しいモデルを提案します。規則) を使用して、非文法的な数式の発生を制限します。このようにして、モデルはツリー構造を効果的に記述し、出力表現の精度を高めることができます。実験は、SS-TD が CROHME 14/16/19 データセットで以前のモデルよりも優れた認識パフォーマンスを達成することを示しており、モデルの有効性を示しています。
Offline Handwritten Mathematical Expression Recognition (HMER) has been dramatically advanced recently by employing tree decoders as part of the encoder-decoder method. Despite the tree decoder-based methods regard the expressions as a tree and parse 2D spatial structure to the tree nodes sequence, the performance of existing works is still poor due to the inevitable tree nodes prediction errors. Besides, they lack syntax rules to regulate the output of expressions. In this paper, we propose a novel model called Spatial Attention and Syntax Rule Enhanced Tree Decoder (SS-TD), which is equipped with spatial attention mechanism to alleviate the prediction error of tree structure and use syntax masks (obtained from the transformation of syntax rules) to constrain the occurrence of ungrammatical mathematical expression. In this way, our model can effectively describe tree structure and increase the accuracy of output expression. Experiments show that SS-TD achieves better recognition performance than prior models on CROHME 14/16/19 datasets, demonstrating the effectiveness of our model.