arXiv reaDer
FlowText: オプティカル フロー推定によるリアルなシーン テキスト ビデオの合成
FlowText: Synthesizing Realistic Scene Text Video with Optical Flow Estimation
現在のビデオ テキスト スポッティング方法は、ラベル付けされた十分なトレーニング データを利用して、良好なパフォーマンスを達成できます。ただし、手動でデータにラベルを付けるには、時間と労力がかかります。これを克服するには、低コストの合成データを使用することが有望な代替手段です。このホワイト ペーパーでは、FlowText と呼ばれる新しいビデオ テキスト合成手法を紹介します。これは、オプティカル フロー推定を利用して、堅牢なビデオ テキスト スポッターをトレーニングするための低コストで大量のテキスト ビデオ データを合成します。画像レベルの合成に焦点を当てた既存の方法とは異なり、FlowText は、オプティカル フローを使用して、連続するフレーム全体でテキスト インスタンスの時間情報を合成することに集中します。この一時的な情報は、テキストの動き、歪み、外観、消失、シェルター、ぼかしなど、ビデオ シーケンス内のテキストを正確に追跡および発見するために重要です。 TransDETR のような一般的な検出器を提案された FlowText と組み合わせると、ICDAR2015video や ICDAR2013video などのさまざまなデータセットで顕著な結果が得られることが実験で示されています。コードは https://github.com/callsys/FlowText で入手できます。
Current video text spotting methods can achieve preferable performance, powered with sufficient labeled training data. However, labeling data manually is time-consuming and labor-intensive. To overcome this, using low-cost synthetic data is a promising alternative. This paper introduces a novel video text synthesis technique called FlowText, which utilizes optical flow estimation to synthesize a large amount of text video data at a low cost for training robust video text spotters. Unlike existing methods that focus on image-level synthesis, FlowText concentrates on synthesizing temporal information of text instances across consecutive frames using optical flow. This temporal information is crucial for accurately tracking and spotting text in video sequences, including text movement, distortion, appearance, disappearance, shelter, and blur. Experiments show that combining general detectors like TransDETR with the proposed FlowText produces remarkable results on various datasets, such as ICDAR2015video and ICDAR2013video. Code is available at https://github.com/callsys/FlowText.
updated: Fri May 05 2023 07:15:49 GMT+0000 (UTC)
published: Fri May 05 2023 07:15:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト