ディープニューラルネットワーク(DNN)のニューラル飽和は広く研究されてきましたが、畳み込みニューラルネットワーク(CNN)では比較的未踏のままです。畳み込みカーネル飽和の影響を理解して軽減することは、CNNモデルの分類精度を高めるために重要です。この論文では、CNNにおける畳み込みカーネル飽和の影響を分析し、トレーニングデータセットにネガティブ画像を補足することにより、飽和を軽減し、分類精度を向上させる簡単なデータ拡張手法を提案します。ネガティブ画像は標準画像と同じ構造情報を持っていますが、データ表現が異なるため、ネガティブ画像を使用してより多くの意味的特徴情報を抽出できると仮定します。さまざまなデータ表現により、カーネルが飽和する可能性が低くなり、カーネルの重みの更新の効果が高まります。仮説を評価するために選択された2つのデータセットは、CIFAR-10とSTL-10でした。これらは類似した画像クラスを持っていますが、画像解像度が異なるため、飽和現象をよりよく理解できます。 MNISTデータセットは、線形分離可能データの手法の非効率性を強調するために使用されました。ネットワーク内のスキップ接続により、分類の精度に最も貢献する最も重要な機能が確実に保持されるため、ResNetCNNアーキテクチャが選択されました。私たちの結果は、CNNが実際に畳み込みカーネル飽和の影響を受けやすく、トレーニングデータセットにネガティブ画像を追加すると、元のデータセットでトレーニングされたモデルと比較した場合、分類精度が統計的に有意に向上することを示しています。私たちの結果は、STL-10およびCIFAR-10データセットでそれぞれ6.98%および3.16%の精度の向上を示しています。
Neural saturation in Deep Neural Networks (DNNs) has been studied extensively, but remains relatively unexplored in Convolutional Neural Networks (CNNs). Understanding and alleviating the effects of convolutional kernel saturation is critical for enhancing CNN models classification accuracies. In this paper, we analyze the effect of convolutional kernel saturation in CNNs and propose a simple data augmentation technique to mitigate saturation and increase classification accuracy, by supplementing negative images to the training dataset. We hypothesize that greater semantic feature information can be extracted using negative images since they have the same structural information as standard images but differ in their data representations. Varied data representations decrease the probability of kernel saturation and thus increase the effectiveness of kernel weight updates. The two datasets selected to evaluate our hypothesis were CIFAR- 10 and STL-10 as they have similar image classes but differ in image resolutions thus making for a better understanding of the saturation phenomenon. MNIST dataset was used to highlight the ineffectiveness of the technique for linearly separable data. The ResNet CNN architecture was chosen since the skip connections in the network ensure the most important features contributing the most to classification accuracy are retained. Our results show that CNNs are indeed susceptible to convolutional kernel saturation and that supplementing negative images to the training dataset can offer a statistically significant increase in classification accuracies when compared against models trained on the original datasets. Our results present accuracy increases of 6.98% and 3.16% on the STL-10 and CIFAR-10 datasets respectively.