arXiv reaDer
TextFormer: 混合監視機能を備えたクエリベースのエンドツーエンド テキスト スポッター
TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision
エンドツーエンドのテキスト スポッティングは、シーン テキストの検出と認識を統一フレームワークに統合することを目的とした重要なコンピューター ビジョン タスクです。一般的な方法は、局所的な特徴を抽出するための関心領域 (RoI) 操作と、最終的な予測を生成するための複雑な後処理ステップに大きく依存しています。これらの制限に対処するために、Transformer アーキテクチャを備えたクエリベースのエンドツーエンドのテキスト スポッターである TextFormer を提案します。具体的には、テキスト インスタンスごとのクエリ埋め込みを使用して、TextFormer は画像エンコーダーとテキスト デコーダーを基盤として構築され、マルチタスク モデリングの共同意味論的理解を学習します。これにより、分類、セグメンテーション、認識ブランチの相互トレーニングと最適化が可能になり、柔軟性やシンプルさを犠牲にすることなく、より深い機能共有が実現します。さらに、任意の形状のテキストを読み取るためにグローバル特徴をシーケンシャル特徴に転送する Adaptive Global aGgregation (AGG) モジュールを設計します。これにより、RoI 操作の部分最適化の問題が克服されます。さらに、潜在的なコーパス情報は、混合監視を通じて弱い注釈から完全なラベルまで利用され、テキスト検出とエンドツーエンドのテキストスポッティング結果がさらに向上します。さまざまなバイリンガル (つまり、英語と中国語) のベンチマークに関する広範な実験により、私たちの方法の優位性が実証されました。特に TDA-ReCTS データセットでは、TextFormer は 1-NED の点で最先端の手法を 13.2% 上回っています。
End-to-end text spotting is a vital computer vision task that aims to integrate scene text detection and recognition into a unified framework. Typical methods heavily rely on Region-of-Interest (RoI) operations to extract local features and complex post-processing steps to produce final predictions. To address these limitations, we propose TextFormer, a query-based end-to-end text spotter with Transformer architecture. Specifically, using query embedding per text instance, TextFormer builds upon an image encoder and a text decoder to learn a joint semantic understanding for multi-task modeling. It allows for mutual training and optimization of classification, segmentation, and recognition branches, resulting in deeper feature sharing without sacrificing flexibility or simplicity. Additionally, we design an Adaptive Global aGgregation (AGG) module to transfer global features into sequential features for reading arbitrarily-shaped texts, which overcomes the sub-optimization problem of RoI operations. Furthermore, potential corpus information is utilized from weak annotations to full labels through mixed supervision, further improving text detection and end-to-end text spotting results. Extensive experiments on various bilingual (i.e., English and Chinese) benchmarks demonstrate the superiority of our method. Especially on TDA-ReCTS dataset, TextFormer surpasses the state-of-the-art method in terms of 1-NED by 13.2%.
updated: Mon Apr 01 2024 11:55:46 GMT+0000 (UTC)
published: Tue Jun 06 2023 03:37:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト