実際のユビキタスドキュメント(請求書、チケット、履歴書、リーフレットなど)には豊富な情報が含まれているため、ドキュメント画像の自動理解が話題になっています。ほとんどの既存の作業は、問題を2つの別々のタスクに分離します。(1)画像内のテキストを検出および認識するためのテキストの読み取りと、(2)以前に抽出されたプレーンテキストから主要な要素を分析および抽出するための情報抽出。ただし、主に情報抽出タスクの改善に焦点を当て、テキストの読み取りと情報抽出は相互に関連しているという事実を無視しています。この論文では、2つのタスクが相互に補強できる、統合されたエンドツーエンドのテキスト読み取りおよび情報抽出ネットワークを提案します。具体的には、テキスト読み取りのマルチモーダルな視覚的機能とテキスト機能が融合して情報が抽出され、情報抽出のセマンティクスがテキスト読み取りの最適化に貢献します。多様なドキュメント画像(固定レイアウトから可変レイアウト、構造化テキストから半構造化テキストまで)を含む3つの実世界のデータセットで、提案された方法は、効率と精度の両方において、最先端の方法を大幅に上回っています。
Since real-world ubiquitous documents (e.g., invoices, tickets, resumes and leaflets) contain rich information, automatic document image understanding has become a hot topic. Most existing works decouple the problem into two separate tasks, (1) text reading for detecting and recognizing texts in images and (2) information extraction for analyzing and extracting key elements from previously extracted plain text. However, they mainly focus on improving information extraction task, while neglecting the fact that text reading and information extraction are mutually correlated. In this paper, we propose a unified end-to-end text reading and information extraction network, where the two tasks can reinforce each other. Specifically, the multimodal visual and textual features of text reading are fused for information extraction and in turn, the semantics in information extraction contribute to the optimization of text reading. On three real-world datasets with diverse document images (from fixed layout to variable layout, from structured text to semi-structured text), our proposed method significantly outperforms the state-of-the-art methods in both efficiency and accuracy.