arXiv reaDer
Class-dependent Compression of Deep Neural Networks
 今日のディープニューラルネットワークは、トレーニング、ストレージ、および推論のためにかなりの計算リソースを必要とするため、リソースに制約のあるデバイスでの効果的な使用が制限されます。最近の多くの研究活動では、ディープモデルを圧縮および最適化するためのさまざまなオプションを検討しています。一方では、多くの実際のアプリケーションでは、データの不均衡という課題に直面しています。つまり、あるクラスのラベル付きインスタンスの数が、他のクラスのラベル付きインスタンスの数を大幅に上回っている場合です。一方、アプリケーションはクラスの不均衡の問題を引き起こす可能性があります。つまり、モデルをトレーニングし、そのパフォーマンスを最適化するときに生成される偽陽性の数は許容できますが、偽陰性の数は低く抑える必要があります。問題は、一部のクラスが他のクラスよりもアプリケーションにとって重要であるという事実に起因しています。医療および監視領域における検出の問題。宝くじの仮説の成功に動機付けられて、この論文では、偽の数を増やすことを犠牲にして、圧縮されたモデルの偽陰性の数を元のモデルの偽陰性に近づける反復ディープモデル圧縮技術を提案します。必要に応じてポジティブ。 2つのベンチマークデータセットを使用した実験的評価は、結果として得られる圧縮サブネットワークが、1)クラス最適化なしの圧縮モデルよりも最大35%少ない偽陰性を達成する、2)全体的に高いAUC_ROC指標を提供する、3)使い切る元のネットワークと比較して99%少ないパラメーターに。
Today's deep neural networks require substantial computation resources for their training, storage, and inference, which limits their effective use on resource-constrained devices. Many recent research activities explore different options for compressing and optimizing deep models. On the one hand, in many real-world applications, we face the data imbalance challenge, i.e. when the number of labeled instances of one class considerably outweighs the number of labeled instances of the other class. On the other hand, applications may pose a class imbalance problem, i.e. higher number of false positives produced when training a model and optimizing its performance may be tolerable, yet the number of false negatives must stay low. The problem originates from the fact that some classes are more important for the application than others, e.g. detection problems in medical and surveillance domains. Motivated by the success of the lottery ticket hypothesis, in this paper we propose an iterative deep model compression technique, which keeps the number of false negatives of the compressed model close to the one of the original model at the price of increasing the number of false positives if necessary. Our experimental evaluation using two benchmark data sets shows that the resulting compressed sub-networks 1) achieve up to 35% lower number of false negatives than the compressed model without class optimization, 2) provide an overall higher AUC_ROC measure, and 3) use up to 99% fewer parameters compared to the original network.
updated: Sun Apr 19 2020 15:47:42 GMT+0000 (UTC)
published: Mon Sep 23 2019 13:47:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト