フォームを処理する人的労力を削減するために、フォームのようなドキュメントに対して任意のクエリを使用した値検索を提案します。フィールドアイテムの固定セットのみをアドレス指定する以前のメソッドとは異なり、このメソッドは、フォームのレイアウトとセマンティクスの理解に基づいて、任意のクエリのターゲット値を予測します。モデルのパフォーマンスをさらに向上させるために、大規模なモデルの事前トレーニングでドキュメントの理解を向上させるためのシンプルなドキュメント言語モデリング(simpleDLM)戦略を提案します。実験結果は、私たちの方法がベースラインを大幅に上回り、simpleDLMは、最先端の事前トレーニング方法と比較して、値検索のパフォーマンスを約17%F1スコア向上させることを示しています。コードは公開されます。
We propose value retrieval with arbitrary queries for form-like documents to reduce human effort of processing forms. Unlike previous methods that only address a fixed set of field items, our method predicts target value for an arbitrary query based on the understanding of layout and semantics of a form. To further boost model performance, we propose a simple document language modeling (simpleDLM) strategy to improve document understanding on large-scale model pre-training. Experimental results show that our method outperforms our baselines significantly and the simpleDLM further improves our performance on value retrieval by around 17% F1 score compared with the state-of-the-art pre-training method. Code will be made publicly available.