arXiv reaDer
Fully Decoupled Neural Network Learning Using Delayed Gradients
 バックプロパゲーション(BP)を使用したニューラルネットワークのトレーニングでは、アクティベーションと勾配を連続して渡す必要があり、これによりネットワークモジュールが強制的に同期的に動作します。これは、BPから継承されたロック(つまり、前方、後方、および更新のロック)として認識されています。この論文では、これらすべてのロックを解除するために、遅延勾配(FDG)を使用した完全に分離されたトレーニングスキームを提案します。 FDGは、ニューラルネットワークを複数のモジュールに分割し、異なるワーカー(GPUなど)を使用して、それらを独立して非同期にトレーニングします。また、グラデーションの縮小プロセスを導入して、遅延グラデーションによって引き起こされる古いグラデーション効果を減らします。さらに、提案されたFDGアルゴリズムがトレーニング中に統計的収束を保証することを証明します。実験は、深い畳み込みニューラルネットワークをトレーニングして、ベンチマークデータセットで分類タスクを実行し、一般化と加速能力の両方の観点から、最新の方法とBPに対して同等またはそれ以上の結果を示します。特に、FDGが非常に広いネットワーク(例:WRN-28-10)および非常に深いネットワーク(例:ResNet-1202)をトレーニングできることを示します。コードはで入手できます。
Training neural networks with back-propagation (BP) requires a sequential passing of activations and gradients, which forces the network modules to work in a synchronous fashion. This has been recognized as the lockings (i.e., the forward, backward and update lockings) inherited from the BP. In this paper, we propose a fully decoupled training scheme using delayed gradients (FDG) to break all these lockings. The FDG splits a neural network into multiple modules and trains them independently and asynchronously using different workers (e.g., GPUs). We also introduce a gradient shrinking process to reduce the stale gradient effect caused by the delayed gradients. In addition, we prove that the proposed FDG algorithm guarantees a statistical convergence during training. Experiments are conducted by training deep convolutional neural networks to perform classification tasks on benchmark datasets, showing comparable or better results against the state-of-the-art methods as well as the BP in terms of both generalization and acceleration abilities. In particular, we show that the FDG is also able to train very wide networks (e.g., WRN-28-10) and extremely deep networks (e.g., ResNet-1202). Code is available at
updated: Fri Nov 22 2019 07:01:47 GMT+0000 (UTC)
published: Fri Jun 21 2019 13:02:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト