オフライン手書き数式認識 (HMER) は、数式認識の分野における主要な分野です。オフライン HMER は、オンライン HMER と比較して、一時的な情報が不足していることと文体が多様であることから、はるかに難しい問題と見なされることがよくあります。この論文では、ペアの敵対的学習を使用するエンコーダー/デコーダー モデルを目的としています。意味不変の特徴は、手書きの数式画像と、エンコーダ内の印刷された数式の対応物から抽出されます。 DenseNetエンコーダーおよびトランスフォーマーデコーダーと組み合わせたセマンティック不変機能の学習は、以前の研究からの発現率の改善に役立ちました。 CROHME データセットで評価した結果、最新の CROHME 2019 テスト セットの結果を約 4% 改善することができました。
Offline Handwritten Mathematical Expression Recognition (HMER) is a major area in the field of mathematical expression recognition. Offline HMER is often viewed as a much harder problem as compared to online HMER due to a lack of temporal information and variability in writing style. In this paper, we purpose a encoder-decoder model that uses paired adversarial learning. Semantic-invariant features are extracted from handwritten mathematical expression images and their printed mathematical expression counterpart in the encoder. Learning of semantic-invariant features combined with the DenseNet encoder and transformer decoder, helped us to improve the expression rate from previous studies. Evaluated on the CROHME dataset, we have been able to improve latest CROHME 2019 test set results by 4% approx.