このホワイトペーパーでは、実際のアプリケーションシナリオ、つまりレール表面の欠陥検出タスクにおけるビジュアルアルゴリズムのパフォーマンスをベンチマークするためのRail-5kデータセットを紹介します。中国全土の鉄道から5,000を超える高品質の画像を収集し、鉄道の専門家の助けを借りて1100の画像に注釈を付けて、最も一般的な13種類の鉄道の欠陥を特定しました。データセットは、両方とも固有の課題を持つ2つの設定に使用できます。最初の設定は、トレーニング用に1k以上のラベル付き画像を使用する完全に監視された設定であり、きめ細かい性質と欠陥クラスのロングテール分布により、視覚的アルゴリズムが取り組むのが困難になります。 2つ目は、4kのラベルなし画像によって促進される半教師あり学習設定です。これらの4k画像は、以前の半教師あり学習方法では簡単に対処できない、ラベル付き画像による画像の破損やドメインシフトの可能性を含むキュレーションされていません。私たちのデータセットは、視覚的アルゴリズムの堅牢性と信頼性を評価するための貴重なベンチマークになると考えています。
This paper presents the Rail-5k dataset for benchmarking the performance of visual algorithms in a real-world application scenario, namely the rail surface defects detection task. We collected over 5k high-quality images from railways across China, and annotated 1100 images with the help from railway experts to identify the most common 13 types of rail defects. The dataset can be used for two settings both with unique challenges, the first is the fully-supervised setting using the 1k+ labeled images for training, fine-grained nature and long-tailed distribution of defect classes makes it hard for visual algorithms to tackle. The second is the semi-supervised learning setting facilitated by the 4k unlabeled images, these 4k images are uncurated containing possible image corruptions and domain shift with the labeled images, which can not be easily tackle by previous semi-supervised learning methods. We believe our dataset could be a valuable benchmark for evaluating robustness and reliability of visual algorithms.