arXiv reaDer
GBDT-MO: Gradient Boosted Decision Trees for Multiple Outputs
 勾配ブースト決定木(GBDT)は機械学習で広く使用されており、現在のGBDT実装の出力は単一変数です。複数の出力がある場合、GBDTは出力変数に対応する複数のツリーを構築します。変数間の相関は、学習されたツリー構造の冗長性を引き起こすこのような戦略によって無視されます。この論文では、GBDT-MOと呼ばれる、複数の出力のGBDTを学習する一般的な方法を提案します。 GBDT-MOの各リーフは、すべての変数または自動的に選択された変数のサブセットの予測を作成します。これは、すべての出力変数に対する客観的なゲインの合計を考慮することにより達成されます。さらに、ヒストグラム近似を複数の出力ケースに拡張して、トレーニングプロセスを高速化します。合成および実世界のデータセットに関するさまざまな実験により、GBDT-MOが精度とトレーニング速度の両方の点で傑出したパフォーマンスを達成していることが確認されます。コードはオンラインで入手できます。
Gradient boosted decision trees (GBDTs) are widely used in machine learning, and the output of current GBDT implementations is a single variable. When there are multiple outputs, GBDT constructs multiple trees corresponding to the output variables. The correlations between variables are ignored by such a strategy causing redundancy of the learned tree structures. In this paper, we propose a general method to learn GBDT for multiple outputs, called GBDT-MO. Each leaf of GBDT-MO constructs predictions of all variables or a subset of automatically selected variables. This is achieved by considering the summation of objective gains over all output variables. Moreover, we extend histogram approximation into multiple output case to speed up the training process. Various experiments on synthetic and real-world datasets verify that GBDT-MO achieves outstanding performance in terms of both accuracy and training speed. Our codes are available on-line.
updated: Sat Dec 28 2019 08:29:43 GMT+0000 (UTC)
published: Tue Sep 10 2019 09:48:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト