arXiv reaDer
VACL: Variance-Aware Cross-Layer Regularization for Pruning Deep Residual Networks
  軽量スパース性の改善は、軽量のディープニューラルネットワークを作成するための一般的な戦略です。ただし、残差学習を使用したモデルの枝刈りはより困難です。このペーパーでは、この問題に対処するための新しいアプローチである、Variance-Aware Cross-Layer(VACL)を紹介します。 VACLは、クロスレイヤーグループ化と分散認識正則化の2つの部分で構成されます。クロスレイヤーグループでは、スキップ接続で接続されたレイヤーの$ i ^ {th $フィルターが1つの正則化グループにグループ化されます。次に、分散認識正則化用語は、接続されたレイヤーの1次統計と2次統計の両方を考慮して、グループ内の分散を制約します。このアプローチにより、残差モデルの構造的スパース性を効果的に改善できます。 CIFAR10の場合、提案された方法は、精度の低下なしでResNetモデルを最大79.5%削減し、1%未満の精度低下でResNeXtモデルを最大82%削減します。 ImageNetの場合、トップ5の精度低下が1%未満で、最大63.3%の枝刈り率が得られます。私たちの実験結果は、提案されたアプローチが、モデル全体のサイズと精度の点で、他の最先端の方法よりも大幅に優れていることを示しています。
Improving weight sparsity is a common strategy for producing light-weight deep neural networks. However, pruning models with residual learning is more challenging. In this paper, we introduce Variance-Aware Cross-Layer (VACL), a novel approach to address this problem. VACL consists of two parts, a Cross-Layer grouping and a Variance Aware regularization. In Cross-Layer grouping the $i^{th$ filters of layers connected by skip-connections are grouped into one regularization group. Then, the Variance-Aware regularization term takes into account both the first and second-order statistics of the connected layers to constrain the variance within a group. Our approach can effectively improve the structural sparsity of residual models. For CIFAR10, the proposed method reduces a ResNet model by up to 79.5% with no accuracy drop and reduces a ResNeXt model by up to 82% with less than 1% accuracy drop. For ImageNet, it yields a pruned ratio of up to 63.3% with less than 1% top-5 accuracy drop. Our experimental results show that the proposed approach significantly outperforms other state-of-the-art methods in terms of overall model size and accuracy.
updated: Tue Sep 10 2019 13:59:04 GMT+0000 (UTC)
published: Tue Sep 10 2019 13:59:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト