arXiv reaDer
A Low Effort Approach to Structured CNN Design Using PCA
 ディープラーニングモデルは、多くの分野で最先端のパフォーマンスを保持していますが、その設計は依然として、過剰パラメーター化されたネットワークをもたらすヒューリスティックまたはグリッド検索方法に基づいています。この研究では、訓練されたネットワークを分析し、計算コストを扱いやすくしながら精度を維持する最適化された圧縮アーキテクチャを推定する方法を提案します。モデル圧縮は、ハードウェアでディープラーニングモデルを実現する問題を対象とする活発な研究分野です。ただし、ほとんどのプルーニング方法は実験的である傾向があり、大規模な計算とネットワーク全体の再トレーニングの時間のかかる反復が必要です。 PCA(主成分分析)を使用して、次元削減のための1次の低労力アプローチとして機能するトレーニング済みネットワークのシングルショット分析を提案することにより、モデル設計に構造を導入します。提案された方法は、各層の活性化を同時に分析し、これらの活性化を生成するフィルターによって記述された空間の次元を考慮します。反復的な再トレーニング手順を行うことなく、レイヤー数とレイヤーごとのフィルター数の点でアーキテクチャを最適化し、効率的なネットワークを設計するための実行可能な低労力の手法にします。 CIFAR-10、CIFAR-100、およびImageNetデータセットのAlexNetおよびVGGスタイルのネットワークで提案された方法論を実証し、操作およびパラメーターの数をそれぞれ最大3.8Xおよび9X削減して最適化されたアーキテクチャを実現します。 1%未満の精度でトレードオフします。また、このメソッドをMobileNetに適用し、操作とパラメーターの数をそれぞれ1.7倍と3.9倍削減しながら、精度をほぼ1パーセントポイント改善しました。
Deep learning models hold state of the art performance in many fields, yet their design is still based on heuristics or grid search methods that often result in overparametrized networks. This work proposes a method to analyze a trained network and deduce an optimized, compressed architecture that preserves accuracy while keeping computational costs tractable. Model compression is an active field of research that targets the problem of realizing deep learning models in hardware. However, most pruning methodologies tend to be experimental, requiring large compute and time intensive iterations of retraining the entire network. We introduce structure into model design by proposing a single shot analysis of a trained network that serves as a first order, low effort approach to dimensionality reduction, by using PCA (Principal Component Analysis). The proposed method simultaneously analyzes the activations of each layer and considers the dimensionality of the space described by the filters generating these activations. It optimizes the architecture in terms of number of layers, and number of filters per layer without any iterative retraining procedures, making it a viable, low effort technique to design efficient networks. We demonstrate the proposed methodology on AlexNet and VGG style networks on the CIFAR-10, CIFAR-100 and ImageNet datasets, and successfully achieve an optimized architecture with a reduction of up to 3.8X and 9X in the number of operations and parameters respectively, while trading off less than 1% accuracy. We also apply the method to MobileNet, and achieve 1.7X and 3.9X reduction in the number of operations and parameters respectively, while improving accuracy by almost one percentage point.
updated: Fri Jan 10 2020 09:36:18 GMT+0000 (UTC)
published: Sat Dec 15 2018 02:41:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト