科学論文の主要なテキストコンポーネント(タイトル、著者、本文など)を分類することは、自動化された科学文書の理解における重要な最初のステップです。以前の作業では、基本的なレイアウト情報、つまりページ上の各トークンの2D位置を使用すると、より正確な分類がどのように行われるかが示されています。 VIsual LAyout(VILA)構造を組み込むための新しい方法を紹介します。たとえば、ページテキストをテキスト行またはテキストブロックにグループ化して、パフォーマンスをさらに向上させる言語モデルに組み込みます。レイアウト構造の境界を示す特別なトークンをモデル入力に追加するだけのI-VILAアプローチにより、トークン分類のマクロF1が1.9%向上する可能性があることを示します。さらに、レイアウト構造に基づいてテキストをエンコードし、テキスト分類モデルのマクロF1損失が1.5%未満で、最大47%の推論時間の短縮を記録する階層モデルH-VILAを設計します。実験は、新たにキュレートされた評価スイートS2-VLUEで実施され、視覚グループ内の分類の均一性を測定する新しいメトリックと、19の科学分野の論文をカバーするゴールドアノテーションの新しいデータセットが使用されます。事前にトレーニングされた重み、ベンチマークデータセット、およびソースコードは、https://github.com/allenai/VILAで入手できます。
Classifying the core textual components of a scientific paper-title, author, body text, etc.-is a critical first step in automated scientific document understanding. Previous work has shown how using elementary layout information, i.e., each token's 2D position on the page, leads to more accurate classification. We introduce new methods for incorporating VIsual LAyout (VILA) structures, e.g., the grouping of page texts into text lines or text blocks, into language models to further improve performance. We show that the I-VILA approach, which simply adds special tokens denoting the boundaries of layout structures into model inputs, can lead to 1.9% Macro F1 improvements for token classification. Moreover, we design a hierarchical model, H-VILA, that encodes the text based on layout structures and record an up-to 47% inference time reduction with less than 1.5% Macro F1 loss for the text classification models. Experiments are conducted on a newly curated evaluation suite, S2-VLUE, with a novel metric measuring classification uniformity within visual groups and a new dataset of gold annotations covering papers from 19 scientific disciplines. Pre-trained weights, benchmark datasets, and source code will be available at https://github.com/allenai/VILA.