arXiv reaDer
NGBoost: 確率的予測のための自然勾配ブースティング
NGBoost: Natural Gradient Boosting for Probabilistic Prediction
勾配ブーストを介した一般的な確率的予測のためのアルゴリズムであるNatural Gradient Boosting (NGBoost)を提示する。一般的な回帰モデルは、共変量を条件とした点推定値を返すが、確率的回帰モデルは共変量を条件とした結果空間上の完全な確率分布を出力する。これにより、予測の不確かさの推定が可能になる --- ヘルスケアや天気予報のようなアプリケーションでは非常に重要である。NGBoostは、条件付き分布のパラメータを多パラメータブーストアルゴリズムのターゲットとして扱うことで、勾配ブーストを確率的回帰に一般化したものである。さらに、多パラメータブースティングアプローチの学習ダイナミクスを修正するために自然勾配がどのように必要であるかを示す。NGBoostは、任意の基底学習器、連続パラメータを持つ任意の分布のファミリー、および任意のスコアリングルールで使用することができる。NGBoostは、柔軟性、スケーラビリティ、使いやすさの面でさらなる利点を提供しながら、確率的予測のための既存の手法と同等以上の性能を発揮する。
We present Natural Gradient Boosting (NGBoost), an algorithm for generic probabilistic prediction via gradient boosting. Typical regression models return a point estimate, conditional on covariates, but probabilistic regression models output a full probability distribution over the outcome space, conditional on the covariates. This allows for predictive uncertainty estimation --- crucial in applications like healthcare and weather forecasting. NGBoost generalizes gradient boosting to probabilistic regression by treating the parameters of the conditional distribution as targets for a multiparameter boosting algorithm. Furthermore, we show how the Natural Gradient is required to correct the training dynamics of our multiparameter boosting approach. NGBoost can be used with any base learner, any family of distributions with continuous parameters, and any scoring rule. NGBoost matches or exceeds the performance of existing methods for probabilistic prediction while offering additional benefits in flexibility, scalability, and usability.
updated: Thu Feb 13 2020 20:52:49 GMT+0000 (UTC)
published: Tue Oct 08 2019 06:07:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト