arXiv reaDer
OTS: 歴史的写本のテキスト スポッティングのためのワンショット学習アプローチ
OTS: A One-shot Learning Approach for Text Spotting in Historical Manuscripts
歴史的原稿の処理は、限られた注釈付きトレーニング データや新しいクラスの出現などの課題をもたらします。これに対処するために、注釈付きのサポート サンプルを 1 つだけ使用して、新しい文字を正確かつ確実に検出する、新しいワンショット学習ベースのテキスト スポッティング (OTS) アプローチを提案します。認知研究からインスピレーションを得て、1 つのサポート画像に基づいて、クエリ画像内の最も識別力のある空間領域を見つけ、焦点を合わせ、学習する空間アライメント モジュールを導入します。特に、低リソースのスポッティング タスクは、例の不均衡の問題に直面することが多いため、距離計量の埋め込み空間をより弁別的にすることができる、トーラス ロスと呼ばれる新しい損失関数を提案します。私たちのアプローチは非常に効率的であり、新しい文字や記号を処理する優れた能力を発揮しながら、少数のトレーニング サンプルしか必要としません。データセットの多様性を高めるために、古代のトンパ象形文字 (DBH) を含む新しい写本データセットが作成されます。公開されている VML-HD、TKH、NC データセット、および新しく提案された DBH データセットで実験を行います。実験結果は、OTS がワンショット テキスト スポッティングで最先端の方法よりも優れていることを示しています。全体として、提案された方法は、歴史的写本のテキストスポッティングの分野で有望なアプリケーションを提供します。
Historical manuscript processing poses challenges like limited annotated training data and novel class emergence. To address this, we propose a novel One-shot learning-based Text Spotting (OTS) approach that accurately and reliably spots novel characters with just one annotated support sample. Drawing inspiration from cognitive research, we introduce a spatial alignment module that finds, focuses on, and learns the most discriminative spatial regions in the query image based on one support image. Especially, since the low-resource spotting task often faces the problem of example imbalance, we propose a novel loss function called torus loss which can make the embedding space of distance metric more discriminative. Our approach is highly efficient and requires only a few training samples while exhibiting the remarkable ability to handle novel characters, and symbols. To enhance dataset diversity, a new manuscript dataset that contains the ancient Dongba hieroglyphics (DBH) is created. We conduct experiments on publicly available VML-HD, TKH, NC datasets, and the new proposed DBH dataset. The experimental results demonstrate that OTS outperforms the state-of-the-art methods in one-shot text spotting. Overall, our proposed method offers promising applications in the field of text spotting in historical manuscripts.
updated: Tue Apr 18 2023 04:25:51 GMT+0000 (UTC)
published: Mon Apr 03 2023 06:40:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト