オブジェクト分類における深い畳み込みニューラルネットワークの大きな成功にもかかわらず、トレーニングデータとテストデータの一貫性がないため、オクルージョン下の深刻な一般化パフォーマンスの低下に苦しんでいます。オクルーダーのばらつきが大きいため、私たちの目標は、オクルージョン条件に一般化できる一方で、オクルージョンのないデータでトレーニングされたモデルです。この作業では、プロトタイプ、部分一致、およびトップダウン注意制御をディープニューラルネットワークに統合して、オクルージョン下での堅牢なオブジェクト分類を実現します。正規化によりコンパクトなデータクラスターが促進され、一貫性のない条件下での一般化能力が向上するため、最初にプロトタイプ学習を導入します。次に、特徴辞書と活性化スケールに基づいた中間層のアテンションマップを部分一致で推定します。これにより、特徴をプロトタイプと比較する際に無関係な情報が選別されます。さらに、閉塞下での物体認識のフィードバック接続の重要な役割を明らかにする神経科学研究に触発され、トップダウンフィードバック注意規制が畳み込み層に導入され、特徴抽出段階での閉塞による汚染を意図的に低減します。 PASCAL3D +データセットからの部分的に遮蔽されたMNISTと車両に関する実験結果は、提案されたネットワークが遮蔽下の現在のディープニューラルネットワークの堅牢性を大幅に改善することを示しています。コードがリリースされます。
Despite deep convolutional neural networks' great success in object classification, it suffers from severe generalization performance drop under occlusion due to the inconsistency between training and testing data. Because of the large variance of occluders, our goal is a model trained on occlusion-free data while generalizable to occlusion conditions. In this work, we integrate prototypes, partial matching and top-down attention regulation into deep neural networks to realize robust object classification under occlusion. We first introduce prototype learning as its regularization encourages compact data clusters, which enables better generalization ability under inconsistent conditions. Then, attention map at intermediate layer based on feature dictionary and activation scale is estimated for partial matching, which sifts irrelevant information out when comparing features with prototypes. Further, inspired by neuroscience research that reveals the important role of feedback connection for object recognition under occlusion, a top-down feedback attention regulation is introduced into convolution layers, purposefully reducing the contamination by occlusion during feature extraction stage. Our experiment results on partially occluded MNIST and vehicles from the PASCAL3D+ dataset demonstrate that the proposed network significantly improves the robustness of current deep neural networks under occlusion. Our code will be released.