コンパクトな畳み込みニューラルネットワーク(CNN)は、近年、パフォーマンスの並外れた改善を目撃しています。ただし、それでも、多数のパラメーターを持つCNNと同じ予測力を提供することはできません。レイヤーによってキャプチャされた多様で豊富な機能は、これらの成功したCNNの重要な特性です。ただし、大規模なCNNとそれらのコンパクトなCNNの間のこの特性の違いは、ほとんど調査されていません。コンパクトなCNNでは、パラメーターの数が限られているため、豊富な特徴が得られる可能性は低く、特徴の多様性が重要な特性になります。モデル推論中にデータポイントから導出されたアクティベーションマップに存在する多様な機能は、異なるクラスのオブジェクトを区別するために必要な一連の一意の記述子の存在を示している可能性があります。対照的に、特徴の多様性が低いデータポイントは、有効な予測を行うのに十分な量の一意の記述子を提供しない場合があります。それらをランダム予測と呼びます。ランダムな予測は、最適化プロセスに悪影響を及ぼし、最終的なパフォーマンスを損なう可能性があります。このホワイトペーパーでは、ランダムな予測によって発生する問題に対処するために、標準のクロスエントロピーを再形成して、限られた数の固有の記述的特徴を持つデータポイントにバイアスをかけることを提案します。私たちの新しいバイアス損失は、貴重なデータポイントのセットにトレーニングを集中させ、学習機能が不十分な膨大な数のサンプルが最適化プロセスを誤解させるのを防ぎます。さらに、多様性の重要性を示すために、最後のレイヤーの一意の記述子の数を増やすためにアーキテクチャが導入されたSkipNetモデルのファミリーを紹介します。当社のSkipnet-Mは、MobileNetV3 Largeよりも1%高い分類精度を達成できます。
Compact convolutional neural networks (CNNs) have witnessed exceptional improvements in performance in recent years. However, they still fail to provide the same predictive power as CNNs with a large number of parameters. The diverse and even abundant features captured by the layers is an important characteristic of these successful CNNs. However, differences in this characteristic between large CNNs and their compact counterparts have rarely been investigated. In compact CNNs, due to the limited number of parameters, abundant features are unlikely to be obtained, and feature diversity becomes an essential characteristic. Diverse features present in the activation maps derived from a data point during model inference may indicate the presence of a set of unique descriptors necessary to distinguish between objects of different classes. In contrast, data points with low feature diversity may not provide a sufficient amount of unique descriptors to make a valid prediction; we refer to them as random predictions. Random predictions can negatively impact the optimization process and harm the final performance. This paper proposes addressing the problem raised by random predictions by reshaping the standard cross-entropy to make it biased toward data points with a limited number of unique descriptive features. Our novel Bias Loss focuses the training on a set of valuable data points and prevents the vast number of samples with poor learning features from misleading the optimization process. Furthermore, to show the importance of diversity, we present a family of SkipNet models whose architectures are brought to boost the number of unique descriptors in the last layers. Our Skipnet-M can achieve 1% higher classification accuracy than MobileNetV3 Large.