arXiv reaDer
Neural Random Subspace
ランダムフォレストの柱として知られているランダム部分空間法は、正確でロバストな予測を行うのに適しています。ただし、ディープラーニングと組み合わせる簡単な方法はまだありません。したがって、この論文では、ニューラルランダム部分空間(NRS)を提案します。以前のフォレストメソッドとは対照的に、NRSは、エンドツーエンドのデータ駆動型表現学習の利点に加え、ディープラーニングソフトウェアとハードウェアプラットフォームからの広範なサポートを享受しているため、推論速度と精度が向上しています。さらに、畳み込みニューラルネットワーク(CNN)にエンコードされる非線形コンポーネントとして、NRSはCNNの非線形特徴表現を以前の高次プール法よりも効率的に学習し、パラメーターの増加を無視できる良好な結果、浮動小数点演算を生成します。 (フロップ)と実際の実行時間。ランダムサブスペース、ランダムフォレスト、勾配ブースティング決定木(GBDT)と比較して、NRSは35の機械学習データセットで優れたパフォーマンスを実現します。さらに、2D画像と3Dの点群認識タスクの両方で、NRSとCNNアーキテクチャの統合により、わずかな追加コストで一貫した改善が実現します。コードはで入手できます。
The random subspace method, known as the pillar of random forests, is good at making precise and robust predictions. However, there is not a straightforward way yet to combine it with deep learning. In this paper, we therefore propose Neural Random Subspace (NRS), a novel deep learning based random subspace method. In contrast to previous forest methods, NRS enjoys the benefits of end-to-end, data-driven representation learning, as well as pervasive support from deep learning software and hardware platforms, hence achieving faster inference speed and higher accuracy. Furthermore, as a non-linear component to be encoded into Convolutional Neural Networks (CNNs), NRS learns non-linear feature representations in CNNs more efficiently than previous higher-order pooling methods, producing good results with negligible increase in parameters, floating point operations (FLOPs) and real running time. Compared with random subspaces, random forests and gradient boosting decision trees (GBDTs), NRS achieves superior performance on 35 machine learning datasets. Moreover, on both 2D image and 3D point cloud recognition tasks, integration of NRS with CNN architectures achieves consistent improvements with minor extra cost. Code is available at
updated: Tue Sep 15 2020 01:07:47 GMT+0000 (UTC)
published: Mon Nov 18 2019 02:28:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト