ビデオテキストスポッティング(VTS)は、ビデオ内のテキストの検出、追跡、および認識を同時に行う必要があるタスクです。既存のビデオテキストスポッティング方法は、通常、高度なパイプラインと複数のモデルを開発しますが、これはリアルタイムアプリケーションには適していません。ここでは、対照表現学習(CoText)を使用したリアルタイムのエンドツーエンドのビデオテキストスポッターを提案します。私たちの貢献は3つあります。1)CoTextは、リアルタイムのエンドツーエンドのトレーニング可能なフレームワークで3つのタスク(テキストの検出、追跡、認識など)に同時に対処します。 2)対照的な学習により、CoTextは長距離の依存関係をモデル化し、複数のフレームにわたる時間情報を学習します。 3)シンプルで軽量なアーキテクチャは、GPU並列検出後処理、Masked RoIを備えたCTCベースの認識ヘッドなど、効果的かつ正確なパフォーマンスを実現するように設計されています。広範な実験は、私たちの方法の優位性を示しています。特に、CoTextは、ICDAR2015videoで41.0 FPSで72.0%のビデオテキストスポッティングIDF1を達成し、10.5%と32.0FPSが以前の最良の方法で改善されました。コードはgithub.com/weijiawu/CoTextにあります。
Video text spotting(VTS) is the task that requires simultaneously detecting, tracking and recognizing text in the video. Existing video text spotting methods typically develop sophisticated pipelines and multiple models, which is not friend for real-time applications. Here we propose a real-time end-to-end video text spotter with Contrastive Representation learning (CoText). Our contributions are three-fold: 1) CoText simultaneously address the three tasks (e.g., text detection, tracking, recognition) in a real-time end-to-end trainable framework. 2) With contrastive learning, CoText models long-range dependencies and learning temporal information across multiple frames. 3) A simple, lightweight architecture is designed for effective and accurate performance, including GPU-parallel detection post-processing, CTC-based recognition head with Masked RoI. Extensive experiments show the superiority of our method. Especially, CoText achieves an video text spotting IDF1 of 72.0% at 41.0 FPS on ICDAR2015video, with 10.5% and 32.0 FPS improvement the previous best method. The code can be found at github.com/weijiawu/CoText.