arXiv reaDer
On the Dual Formulation of Boosting Algorithms
 新しい観点からブースティングアルゴリズムを研究します。一般化されたヒンジ損失を伴うAdaBoost、LogitBoost、およびソフトマージンLPBoostのラグランジュ双対問題は、すべてエントロピー最大化問題であることを示します。これらのブースティングアルゴリズムの二重の問題を調べることにより、ブースティングアルゴリズムの成功は、マージンを最大化すると同時にマージンの分散を制御することにより、より良いマージン分布を維持するという観点から理解できることを示しています。 、AdaBoostは最小マージンではなく平均マージンを最大化します。また、双対定式化により、列生成ベースの最適化アルゴリズムを開発できます。これらは、標準的な段階的加法ブースティングアルゴリズムとほぼ同じ分類結果を示しますが、収束速度ははるかに速いことを示しています。したがって、提案された最適化手法を使用してアンサンブルを構築するために必要な弱い分類器は少なくなります。
We study boosting algorithms from a new perspective. We show that the Lagrange dual problems of AdaBoost, LogitBoost and soft-margin LPBoost with generalized hinge loss are all entropy maximization problems. By looking at the dual problems of these boosting algorithms, we show that the success of boosting algorithms can be understood in terms of maintaining a better margin distribution by maximizing margins and at the same time controlling the margin variance.We also theoretically prove that, approximately, AdaBoost maximizes the average margin, instead of the minimum margin. The duality formulation also enables us to develop column generation based optimization algorithms, which are totally corrective. We show that they exhibit almost identical classification results to that of standard stage-wise additive boosting algorithms but with much faster convergence rates. Therefore fewer weak classifiers are needed to build the ensemble using our proposed optimization technique.
updated: Sat May 27 2023 06:50:26 GMT+0000 (UTC)
published: Fri Jan 23 2009 02:14:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト