畳み込みニューラルネットワーク(CNN)の一般化パフォーマンスは、トレーニング画像の量、質、および多様性に影響されます。トレーニング画像には注釈を付ける必要があり、これには時間と費用がかかります。私たちの仕事の目標は、CNNのパフォーマンスを維持しながら、CNNのトレーニングに必要な注釈付き画像の数を減らすことでした。トレーニング画像のセットに分類が難しい画像の大部分が含まれていることを確認することで、CNNのパフォーマンスをより速く改善できると仮定しました。私たちの研究の目的は、分類が難しい画像を自動的に選択できる能動学習法を使用して、この仮説をテストすることでした。マスク領域ベースのCNN(Mask R-CNN)のアクティブラーニング手法を開発し、この手法をMaskALと名付けました。 MaskALは、Mask R-CNNの反復トレーニングを含み、その後、トレーニングされたモデルを使用して、モデルが最も不確実なラベルのない画像のセットを選択しました。次に、選択した画像に注釈を付け、Mask R-CNNを再トレーニングするために使用しました。これは、サンプリングを何度も繰り返すために繰り返されました。私たちの研究では、MaskALは、視覚的に類似した5つのクラスを持つブロッコリーデータセットのランダムサンプリング方法と比較されました。 MaskALは、ランダムサンプリングよりも大幅に優れたパフォーマンスを示しました。さらに、MaskALは、900枚の画像をサンプリングした後、2300枚の画像をランダムにサンプリングした後と同じパフォーマンスを示しました。トレーニングセット全体(14,000画像)でトレーニングされたMask R-CNNモデルと比較して、MaskALはトレーニングデータの17.9%でそのモデルのパフォーマンスの93.9%を達成しました。ランダムサンプリングは、トレーニングデータの16.4%で、そのモデルのパフォーマンスの81.9%を達成しました。 MaskALを使用することにより、視覚的に類似したクラスのブロッコリーデータセットでMaskR-CNNをトレーニングするための注釈の労力を削減できると結論付けています。当社のソフトウェアはhttps://github.com/pieterblok/maskalで入手できます。
The generalisation performance of a convolutional neural network (CNN) is influenced by the quantity, quality, and variety of the training images. Training images must be annotated, and this is time consuming and expensive. The goal of our work was to reduce the number of annotated images needed to train a CNN while maintaining its performance. We hypothesised that the performance of a CNN can be improved faster by ensuring that the set of training images contains a large fraction of hard-to-classify images. The objective of our study was to test this hypothesis with an active learning method that can automatically select the hard-to-classify images. We developed an active learning method for Mask Region-based CNN (Mask R-CNN) and named this method MaskAL. MaskAL involved the iterative training of Mask R-CNN, after which the trained model was used to select a set of unlabelled images about which the model was most uncertain. The selected images were then annotated and used to retrain Mask R-CNN, and this was repeated for a number of sampling iterations. In our study, MaskAL was compared to a random sampling method on a broccoli dataset with five visually similar classes. MaskAL performed significantly better than the random sampling. In addition, MaskAL had the same performance after sampling 900 images as the random sampling had after 2300 images. Compared to a Mask R-CNN model that was trained on the entire training set (14,000 images), MaskAL achieved 93.9% of that model's performance with 17.9% of its training data. The random sampling achieved 81.9% of that model's performance with 16.4% of its training data. We conclude that by using MaskAL, the annotation effort can be reduced for training Mask R-CNN on a broccoli dataset with visually similar classes. Our software is available on https://github.com/pieterblok/maskal.