arXiv reaDer
ワンショット ドキュメント スニペット検出: テキストを超えたドキュメント内検索の強化
One-Shot Doc Snippet Detection: Powering Search in Document Beyond Text
デジタル ドキュメントの積極的な利用は、検索を含むさまざまなアプリケーションでの研究の余地をもたらしました。従来、ドキュメント内の検索は、構造化されたドキュメントやフォームなどに一般的に存在する豊富なレイアウトや視覚的な手がかりを無視して、テキスト マッチングの問題として投げかけられてきました。ドキュメント スニペットの単一のクエリ インスタンスが与えられた場合、ターゲット ドキュメント ページに存在しますか?".これをワンショットスニペット検出タスクとして解決するために MONOMER を提案します。 MONOMER は、スニペットとドキュメントの視覚的、テキスト的、空間的モダリティからコンテキストを融合して、ターゲット ドキュメント内のクエリ スニペットを見つけます。 MONOMER がワンショット オブジェクト検出 (BHRL)、テンプレート マッチング、およびドキュメント理解 (LayoutLMv3) からいくつかのベースラインを上回ることを示す大規模なアブレーションと実験を行います。当面のタスクに関連するデータが不足しているため、Flamingo Forms と PubLayNet の 2 つのデータセットから、多くの視覚的に類似したクエリ スニペットとターゲット ドキュメントのペアを含む、プログラムで生成されたデータで MONOMER をトレーニングします。また、生成されたデータを検証するために人間による調査も行います。
Active consumption of digital documents has yielded scope for research in various applications, including search. Traditionally, searching within a document has been cast as a text matching problem ignoring the rich layout and visual cues commonly present in structured documents, forms, etc. To that end, we ask a mostly unexplored question: "Can we search for other similar snippets present in a target document page given a single query instance of a document snippet?". We propose MONOMER to solve this as a one-shot snippet detection task. MONOMER fuses context from visual, textual, and spatial modalities of snippets and documents to find query snippet in target documents. We conduct extensive ablations and experiments showing MONOMER outperforms several baselines from one-shot object detection (BHRL), template matching, and document understanding (LayoutLMv3). Due to the scarcity of relevant data for the task at hand, we train MONOMER on programmatically generated data having many visually similar query snippets and target document pairs from two datasets - Flamingo Forms and PubLayNet. We also do a human study to validate the generated data.
updated: Mon Sep 12 2022 19:26:32 GMT+0000 (UTC)
published: Mon Sep 12 2022 19:26:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト