arXiv reaDer
Channel selection using Gumbel Softmax
モバイルコンピューティングなどの重要なアプリケーションでは、ニューラルネットワーク推論の計算コストを削減する必要があります。理想的には、アプリケーションは精度と速度の間の好ましいトレードオフを指定し、ネットワークは分類エラーを使用してネットワークの一部を削除し、このエンドツーエンドを最適化します。速度の向上は、トレーニング中(フィルターのプルーニングなど)または推論中(レイヤーのサブセットを条件付きで実行するなど)に実行できます。両方の設定で推論効率を向上させることができる単一のエンドツーエンドフレームワークを提案します。ネットワーク構造を学習するために、バッチアクティベーション損失と分類損失、およびガンベル再パラメーター化の組み合わせを使用します。エンドツーエンドでトレーニングを行い、同じ手法で剪定と条件付き計算をサポートします。 ResNetを使用したImageNet分類の有望な実験結果が得られます(計算が45〜52%少なくなります)。
Important applications such as mobile computing require reducing the computational costs of neural network inference. Ideally, applications would specify their preferred tradeoff between accuracy and speed, and the network would optimize this end-to-end, using classification error to remove parts of the network. Increasing speed can be done either during training - e.g., pruning filters - or during inference - e.g., conditionally executing a subset of the layers. We propose a single end-to-end framework that can improve inference efficiency in both settings. We use a combination of batch activation loss and classification loss, and Gumbel reparameterization to learn network structure. We train end-to-end, and the same technique supports pruning as well as conditional computation. We obtain promising experimental results for ImageNet classification with ResNet (45-52% less computation).
updated: Mon Nov 23 2020 22:35:18 GMT+0000 (UTC)
published: Tue Dec 11 2018 01:41:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト