arXiv reaDer
MUTE: Data-Similarity Driven Multi-hot Target Encoding for Neural Network Design
  ターゲットエンコーディングは、従来の機械学習手法のパフォーマンスを向上させる効果的な手法であり、最近ではディープニューラルネットワークでも同様です。ただし、既存のターゲットエンコーディングアプローチでは学習容量を大幅に増やす必要があるため、より高い計算能力とより多くのトレーニングデータが必要になります。この論文では、ターゲットデータセットのクラス間特性を理解することにより、ターゲットモデルの一般化とロバスト性の両方を改善する、新規で効率的なターゲットエンコーディングスキームであるMUTEを提示します。データセット内のターゲットクラス間の混同レベルを抽出することにより、MUTEはターゲットエンコーディング間のハミング距離を戦略的に最適化します。このような最適化されたターゲットエンコーディングは、無視できる計算オーバーヘッドで、モデルサイズを増やすことなく、ニューラルネットワークモデルの分類強度を高めます。 MUTEが一般的な画像分類ネットワークおよびデータセットに適用されると、実験結果は、MUTEが既存のソリューションよりも優れた一般化とノイズおよび敵対攻撃に対する防御を提供することを示しています。
Target encoding is an effective technique to deliver better performance for conventional machine learning methods, and recently, for deep neural networks as well. However, the existing target encoding approaches require significant increase in the learning capacity, thus demand higher computation power and more training data. In this paper, we present a novel and efficient target encoding scheme, MUTE to improve both generalizability and robustness of a target model by understanding the inter-class characteristics of a target dataset. By extracting the confusion level between the target classes in a dataset, MUTE strategically optimizes the Hamming distances among target encoding. Such optimized target encoding offers higher classification strength for neural network models with negligible computation overhead and without increasing the model size. When MUTE is applied to the popular image classification networks and datasets, our experimental results show that MUTE offers better generalization and defense against the noises and adversarial attacks over the existing solutions.
updated: Tue Oct 15 2019 20:23:06 GMT+0000 (UTC)
published: Tue Oct 15 2019 20:23:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト