arXiv reaDer
動的ルーティングネットワーク
Dynamic Routing Networks
現実のアプリケーションでのディープニューラルネットワークの展開は、高い推論コストによってほとんど制限されています。専門家が設計した、またはアルゴリズムで検索されたアーキテクチャーを使用して、精度を向上させるための広範な努力が行われてきました。ただし、段階的な改善は通常、入力インスタンスのごく一部のみが本当に必要とする、ますます高価なモデルで達成されます。したがって、同じ変換を介してすべての入力インスタンスを処理する静的アーキテクチャで推論すると、不要な計算コストが発生します。したがって、推論効率を高めるには、インスタンスを意識した方法でモデル容量をカスタマイズする必要があります。本稿では、動的ルーティングネットワーク(DRNet)を提案します。これは、変換ノード間の各接続の候補ブランチセットから選択された必要な変換ブランチのみに入力インスタンスをルーティングすることにより、効率的なインスタンス認識推論をサポートします。ブランチの選択は、対応するブランチの重要度の重みによって動的に決定されます。最初に軽量ハイパーネットワーク(RouterNets)から生成され、選択前にGumbel-Softmaxで再調整されます。広範な実験により、DRNetは推論中に相当量のパラメーターサイズとFLOPを削減でき、予測パフォーマンスは最新のアーキテクチャに匹敵することが示されています。
The deployment of deep neural networks in real-world applications is mostly restricted by their high inference costs. Extensive efforts have been made to improve the accuracy with expert-designed or algorithm-searched architectures. However, the incremental improvement is typically achieved with increasingly more expensive models that only a small portion of input instances really need. Inference with a static architecture that processes all input instances via the same transformation would thus incur unnecessary computational costs. Therefore, customizing the model capacity in an instance-aware manner is much needed for higher inference efficiency. In this paper, we propose Dynamic Routing Networks (DRNets), which support efficient instance-aware inference by routing the input instance to only necessary transformation branches selected from a candidate set of branches for each connection between transformation nodes. The branch selection is dynamically determined via the corresponding branch importance weights, which are first generated from lightweight hypernetworks (RouterNets) and then recalibrated with Gumbel-Softmax before the selection. Extensive experiments show that DRNets can reduce a substantial amount of parameter size and FLOPs during inference with prediction performance comparable to state-of-the-art architectures.
updated: Sun Nov 08 2020 13:11:45 GMT+0000 (UTC)
published: Mon May 13 2019 03:45:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト