arXiv reaDer
表形式データ分類のための重み付けおよび剪定ベースのアンサンブルディープランダムベクトル機能リンクネットワーク
Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification
このホワイトペーパーでは、最初にedRVFLネットワークにバッチ正規化を導入します。この再正規化方法は、ネットワークが隠された機能の発散を回避するのに役立ちます。次に、Ensemble Deep Random Vector Functional Link(edRVFL)の新しいバリアントを提案します。重み付けされたedRVFL(WedRVFL)は、重み付け方法を使用して、サンプルが前の層で自信を持って分類された方法に応じて、トレーニングサンプルに異なる層で異なる重みを与え、それによってアンサンブルの多様性と精度を高めます。さらに、剪定ベースのedRVFL(PedRVFL)も提案されています。次の隠れ層を生成する前に、分類の重要性に基づいていくつかの下位ニューロンを剪定します。この方法により、ランダムに生成された下位フィーチャがより深いレイヤーに伝播しないようにします。続いて、Weighting andPruningベースのEnsembleDeep Random Vector Functional Link Network(WPedRVFL)と呼ばれる、Weighting andPruningの組み合わせが提案されます。それらのパフォーマンスを、24の表形式のUCI分類データセットで他の最先端のディープフィードフォワードニューラルネットワーク(FNN)と比較します。実験結果は、提案した方法の優れた性能を示しています。
In this paper, we first introduce batch normalization to the edRVFL network. This re-normalization method can help the network avoid divergence of the hidden features. Then we propose novel variants of Ensemble Deep Random Vector Functional Link (edRVFL). Weighted edRVFL (WedRVFL) uses weighting methods to give training samples different weights in different layers according to how the samples were classified confidently in the previous layer thereby increasing the ensemble's diversity and accuracy. Furthermore, a pruning-based edRVFL (PedRVFL) has also been proposed. We prune some inferior neurons based on their importance for classification before generating the next hidden layer. Through this method, we ensure that the randomly generated inferior features will not propagate to deeper layers. Subsequently, the combination of weighting and pruning, called Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network (WPedRVFL), is proposed. We compare their performances with other state-of-the-art deep feedforward neural networks (FNNs) on 24 tabular UCI classification datasets. The experimental results illustrate the superior performance of our proposed methods.
updated: Sat Jan 15 2022 09:34:50 GMT+0000 (UTC)
published: Sat Jan 15 2022 09:34:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト