アンサンブル学習は、ほぼすべての機械学習アルゴリズムのパフォーマンスを向上させる簡単な方法として機能します。既存のディープ アンサンブル メソッドは通常、多くの異なるモデルを単純にトレーニングしてから、それらの予測を集計します。これは、次の 2 つの側面から私たちの見解では最適ではありません。 ii) 相互作用を考慮せずに各基本モデルを純粋に最適化すると、アンサンブルの多様性とパフォーマンスの向上が制限されます。深い負の相関分類 (DNCC) を提案することでこれらの問題に取り組みます。DNCC では、損失関数を個々の精度と個々のモデルとアンサンブル間の相関にシームレスに分解することにより、精度と多様性のトレードオフが体系的に制御されます。 DNCC は、個々の推定量が正確で負の相関がある深い分類アンサンブルを生成します。最適化された多様性のおかげで、DNCC は共有ネットワーク バックボーンを利用している場合でもうまく機能し、ほとんどの既存のアンサンブル システムと比較して効率が大幅に向上します。複数のベンチマークデータセットとネットワーク構造に関する広範な実験により、提案された方法の優位性が実証されています。
Ensemble learning serves as a straightforward way to improve the performance of almost any machine learning algorithm. Existing deep ensemble methods usually naively train many different models and then aggregate their predictions. This is not optimal in our view from two aspects: i) Naively training multiple models adds much more computational burden, especially in the deep learning era; ii) Purely optimizing each base model without considering their interactions limits the diversity of ensemble and performance gains. We tackle these issues by proposing deep negative correlation classification (DNCC), in which the accuracy and diversity trade-off is systematically controlled by decomposing the loss function seamlessly into individual accuracy and the correlation between individual models and the ensemble. DNCC yields a deep classification ensemble where the individual estimator is both accurate and negatively correlated. Thanks to the optimized diversities, DNCC works well even when utilizing a shared network backbone, which significantly improves its efficiency when compared with most existing ensemble systems. Extensive experiments on multiple benchmark datasets and network structures demonstrate the superiority of the proposed method.