arXiv reaDer
Regularizing Neural Networks via Stochastic Branch Layers
  ディープニューラルネットワークの新しい確率的正則化手法を導入します。これは、レイヤーを異なるパラメーターを持つ複数のブランチに分解し、トレーニング中にブランチからの出力の確率的にサンプリングされた組み合わせをマージします。因数分解されたブランチは、線形操作によって単一のブランチに折りたたむことができるため、推論は通常のレイヤーに比べて追加の複雑さを必要としません。 StochasticBranchと呼ばれる提案された正則化方法は、完全に接続されたレイヤーや畳み込みレイヤーなどの線形レイヤーに適用できます。提案された正則化により、モデルは分岐の複数の組み合わせを介してモデルパラメーター空間の多様な領域を探索し、より良い局所最小値を見つけることができます。広範な実験により、この方法がネットワークを効果的に正則化し、他の既存の正則化手法と併用すると、一般化のパフォーマンスがさらに向上することがわかります。
We introduce a novel stochastic regularization technique for deep neural networks, which decomposes a layer into multiple branches with different parameters and merges stochastically sampled combinations of the outputs from the branches during training. Since the factorized branches can collapse into a single branch through a linear operation, inference requires no additional complexity compared to the ordinary layers. The proposed regularization method, referred to as StochasticBranch, is applicable to any linear layers such as fully-connected or convolution layers. The proposed regularizer allows the model to explore diverse regions of the model parameter space via multiple combinations of branches to find better local minima. An extensive set of experiments shows that our method effectively regularizes networks and further improves the generalization performance when used together with other existing regularization techniques.
updated: Thu Oct 03 2019 13:44:55 GMT+0000 (UTC)
published: Thu Oct 03 2019 13:44:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト