arXiv reaDer
複合図形のセマンティックセグメンテーション
Semantic Segmentation for Compound figures
 科学文献には大量の非構造化データが含まれており、図の30%以上が複数の画像の組み合わせとして構成されているため、これらの複合図は既存の情報検索ツールでは直接分析できません。本論文では、複合図を「マスター画像」に分解する複合図分離のためのセマンティックセグメンテーションアプローチを提案します。各マスターイメージは、サブフィギュアラベル(通常「(a)、(b)、(c)など」)によって管理される複合図の一部です。このようにして、分離されたサブフィギュアをキャプションの説明情報に簡単に関連付けることができます。特に、アンカーベースのマスター画像検出アルゴリズムを提案します。これは、マスター画像とサブフィギュアラベル間の相関を活用し、マスター画像を2段階で特定します。最初に、複合図形のグローバルレイアウト情報を抽出するために、サブ図形ラベル検出器が構築されます。次に、レイアウト情報をローカルフィーチャと組み合わせて、マスターイメージを特定します。ラベル付きテストデータセットに対する提案手法の有効性を定量的および定性的に検証します。
Scientific literature contains large volumes of unstructured data,with over 30% of figures constructed as a combination of multiple images, these compound figures cannot be analyzed directly with existing information retrieval tools. In this paper, we propose a semantic segmentation approach for compound figure separation, decomposing the compound figures into "master images". Each master image is one part of a compound figure governed by a subfigure label (typically "(a), (b), (c), etc"). In this way, the separated subfigures can be easily associated with the description information in the caption. In particular, we propose an anchor-based master image detection algorithm, which leverages the correlation between master images and subfigure labels and locates the master images in a two-step manner. First, a subfigure label detector is built to extract the global layout information of the compound figure. Second, the layout information is combined with local features to locate the master images. We validate the effectiveness of proposed method on our labeled testing dataset both quantitatively and qualitatively.
updated: Thu Feb 04 2021 17:37:44 GMT+0000 (UTC)
published: Mon Dec 16 2019 00:42:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト