arXiv reaDer
Improving Model Training by Periodic Sampling over Weight Distributions
 このホワイトペーパーでは、さまざまな視覚問題(分類、検出、セグメンテーション)の勾配更新法(vanilla SGD、Momentum、Adam)の収束改善を提供するモデルの重みの定期的なサンプリングを中心とした手法を検討します。重要なことに、当社のアルゴリズムは、計算時間をわずかに増加させるだけで、より優れた、より高速でより堅牢な収束およびトレーニングパフォーマンスを提供します。当社の手法は、ニューラルネットワークモデル、勾配最適化方法、または既存の最適なトレーニングポリシーに依存せず、ほぼ単調なパフォーマンスの改善により、より不安定な方法で収束します。これらの改善を定量化し、これらの手法がより役立つシナリオを特定するために、さまざまな実験を実施しています。
In this paper, we explore techniques centered around periodic sampling of model weights that provide convergence improvements on gradient update methods (vanilla SGD, Momentum, Adam) for a variety of vision problems (classification, detection, segmentation). Importantly, our algorithms provide better, faster and more robust convergence and training performance with only a slight increase in computation time. Our techniques are independent of the neural network model, gradient optimization methods or existing optimal training policies and converge in a less volatile fashion with performance improvements that are approximately monotonic. We conduct a variety of experiments to quantify these improvements and identify scenarios where these techniques could be more useful.
updated: Thu Mar 19 2020 21:37:12 GMT+0000 (UTC)
published: Tue May 14 2019 18:00:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト