arXiv reaDer
Weak Supervision for Generating Pixel-Level Annotations in Scene Text Segmentation
 シーンテキストのセグメンテーションにピクセルレベルの監視を提供することは本質的に困難でコストがかかるため、このタスクで使用できる小さなデータセットはわずかです。トレーニングデータの不足に直面するために、畳み込みニューラルネットワーク(CNN)に基づく以前のアプローチでは、事前トレーニングに合成データセットを使用しています。ただし、合成データでは、自然画像の複雑さと変動を再現できません。この作業では、合成データと実際のデータ間のドメインシフトを減らすために、弱監視学習アプローチを使用することを提案します。 COCO-TextおよびMLTデータセットのバウンディングボックス監視を活用して、実際の画像の弱いピクセルレベルの監視を生成します。特に、COCO-Text-Segmentation(COCO_TS)およびMLT-Segmentation(MLT_S)データセットが作成およびリリースされます。これら2つのデータセットは、シーンテキストセグメンテーションタスクの特殊性に直面するように特別に設計されたセグメンテーションマルチスケールアテンションネットワーク(SMANet)であるCNNのトレーニングに使用されます。 SMANetは提案されたデータセットでエンドツーエンドでトレーニングされ、実験によりCOCO_TSおよびMLT_Sは合成画像の有効な代替手段であり、トレーニングサンプルのごく一部を使用してパフォーマンスを大幅に改善できることが示されています。
Providing pixel-level supervisions for scene text segmentation is inherently difficult and costly, so that only few small datasets are available for this task. To face the scarcity of training data, previous approaches based on Convolutional Neural Networks (CNNs) rely on the use of a synthetic dataset for pre-training. However, synthetic data cannot reproduce the complexity and variability of natural images. In this work, we propose to use a weakly supervised learning approach to reduce the domain-shift between synthetic and real data. Leveraging the bounding-box supervision of the COCO-Text and the MLT datasets, we generate weak pixel-level supervisions of real images. In particular, the COCO-Text-Segmentation (COCO_TS) and the MLT-Segmentation (MLT_S) datasets are created and released. These two datasets are used to train a CNN, the Segmentation Multiscale Attention Network (SMANet), which is specifically designed to face some peculiarities of the scene text segmentation task. The SMANet is trained end-to-end on the proposed datasets, and the experiments show that COCO_TS and MLT_S are a valid alternative to synthetic images, allowing to use only a fraction of the training samples and improving significantly the performances.
updated: Tue Nov 19 2019 09:55:27 GMT+0000 (UTC)
published: Tue Nov 19 2019 09:55:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト