手書き数式認識 (HMER) は最近大きな注目を集めています。ただし、現在の方法では、異なるシンボル間の相互作用を明示的に研究することができないため、同様のシンボルに直面した場合に失敗する可能性があります。この問題を軽減するために、セマンティック インタラクション学習 (SIL) を強化するシンプルだが効率的な方法を提案します。具体的には、まず統計的なシンボルの共起確率に基づいて意味グラフを構築します。次に、視覚的特徴と分類機能を意味空間に投影する意味認識モジュール (SAM) を設計します。異なる投影ベクトル間のコサイン距離は、シンボル間の相関を示します。また、HMER と SIL を共同で最適化すると、シンボルの関係についてのモデルの理解を明確に強化できます。さらに、SAM は、HMER の既存のアテンションベースのモデルに簡単に組み込むことができ、一貫して改善をもたらします。公開ベンチマーク データセットでの広範な実験により、私たちが提案したモジュールが認識パフォーマンスを効果的に強化できることが実証されました。私たちの方法は、CROHME データセットと HME100K データセットの両方で従来技術よりも優れた認識パフォーマンスを実現します。
Handwritten mathematical expression recognition (HMER) has attracted extensive attention recently. However, current methods cannot explicitly study the interactions between different symbols, which may fail when faced similar symbols. To alleviate this issue, we propose a simple but efficient method to enhance semantic interaction learning (SIL). Specifically, we firstly construct a semantic graph based on the statistical symbol co-occurrence probabilities. Then we design a semantic aware module (SAM), which projects the visual and classification feature into semantic space. The cosine distance between different projected vectors indicates the correlation between symbols. And jointly optimizing HMER and SIL can explicitly enhances the model's understanding of symbol relationships. In addition, SAM can be easily plugged into existing attention-based models for HMER and consistently bring improvement. Extensive experiments on public benchmark datasets demonstrate that our proposed module can effectively enhance the recognition performance. Our method achieves better recognition performance than prior arts on both CROHME and HME100K datasets.