arXiv reaDer
RED : ディープ ニューラル ネットワークのデータなしの構造化圧縮の冗長性を探す
RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks
ディープ ニューラル ネットワーク (DNN) は、かなりの計算コストを伴うにもかかわらず、今日のコンピューター ビジョンの世界に遍在しています。ランタイム アクセラレーションの主流のアプローチは、接続のプルーニング (非構造化プルーニング) または、より適切なフィルター (構造化プルーニング) で構成されます。このホワイト ペーパーでは、構造化プルーニングに取り組むための、データのない構造化された統合アプローチである RED を紹介します。まず、重みベクトルによって表される同一のニューロンの数を増やすために、スカラー DNN 重み分布密度の新しい適応ハッシュを提案します。次に、冗長なニューロンを距離で定義される相対的な類似性に基づいてマージすることにより、ネットワークをプルーニングします。第三に、畳み込み層をさらにプルーニングするための新しい不均一な深さ方向の分離手法を提案します。 RED が他のデータフリープルーニング方法よりも大幅に優れており、多くの場合、制約のないデータ駆動型の方法と同様のパフォーマンスに達していることを、さまざまなベンチマークを通じて示しています。
Deep Neural Networks (DNNs) are ubiquitous in today's computer vision land-scape, despite involving considerable computational costs. The mainstream approaches for runtime acceleration consist in pruning connections (unstructured pruning) or, better, filters (structured pruning), both often requiring data to re-train the model. In this paper, we present RED, a data-free structured, unified approach to tackle structured pruning. First, we propose a novel adaptive hashing of the scalar DNN weight distribution densities to increase the number of identical neurons represented by their weight vectors. Second, we prune the network by merging redundant neurons based on their relative similarities, as defined by their distance. Third, we propose a novel uneven depthwise separation technique to further prune convolutional layers. We demonstrate through a large variety of benchmarks that RED largely outperforms other data-free pruning methods, often reaching performance similar to unconstrained, data-driven methods.
updated: Mon May 31 2021 08:44:14 GMT+0000 (UTC)
published: Mon May 31 2021 08:44:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト