大規模なタスク固有のオクルージョン画像を取得することは困難であるため、深い畳み込みニューラルネットワーク(CNN)を使用したオクルージョン画像の分類は依然として非常に困難です。大規模な遮蔽画像データセットへの依存を軽減するために、拡張された深部特徴ベクトル(DFV)のセットを使用して事前トレーニング済みモデルを微調整することにより、遮蔽画像の分類精度を向上させる新しいアプローチを提案します。拡張DFVのセットは、元のDFVと疑似DFVで構成されます。疑似DFVは、クリーンでオクルージョンされた画像ペアの小さなセットから抽出された差分ベクトル(DV)を実際のDFVにランダムに追加することによって生成されます。微調整では、DFVデータフローに対してバックプロパゲーションが実行され、ネットワークパラメータが更新されます。さまざまなデータセットとネットワーク構造での実験は、深い特徴の増強が、クリーンな画像のパフォーマンスに目立った影響を与えることなく、遮蔽された画像の分類精度を大幅に改善することを示しています。具体的には、合成オクルージョン画像を含むILSVRC2012データセットで、提案されたアプローチにより、オクルージョン専用およびオクルージョンを含むトレーニングセットで微調整されたResNet50ネットワークの分類精度がそれぞれ11.21%および9.14%向上します。
Due to the difficulty in acquiring massive task-specific occluded images, the classification of occluded images with deep convolutional neural networks (CNNs) remains highly challenging. To alleviate the dependency on large-scale occluded image datasets, we propose a novel approach to improve the classification accuracy of occluded images by fine-tuning the pre-trained models with a set of augmented deep feature vectors (DFVs). The set of augmented DFVs is composed of original DFVs and pseudo-DFVs. The pseudo-DFVs are generated by randomly adding difference vectors (DVs), extracted from a small set of clean and occluded image pairs, to the real DFVs. In the fine-tuning, the back-propagation is conducted on the DFV data flow to update the network parameters. The experiments on various datasets and network structures show that the deep feature augmentation significantly improves the classification accuracy of occluded images without a noticeable influence on the performance of clean images. Specifically, on the ILSVRC2012 dataset with synthetic occluded images, the proposed approach achieves 11.21% and 9.14% average increases in classification accuracy for the ResNet50 networks fine-tuned on the occlusion-exclusive and occlusion-inclusive training sets, respectively.