arXiv reaDer
Convolutional Networks with Adaptive Inference Graphs
 たたみ込みネットワークは本当に固定フィードフォワード構造を必要としますか?画像の高レベルの概念を識別した後、ネットワークが細かい違いを区別できるレイヤーに直接移動できるとしたらどうでしょうか。現在、ネットワークは最初に、無関係な側面に特化した何百もの中間層を実行する必要があります。理想的には、ネットワークが画像についてすでに知っているほど、次にどのレイヤーを計算するかを決定するほうがよいはずです。この作業では、入力画像に条件付けられたネットワークトポロジを適応的に定義する適応推論グラフ(ConvNet-AIG)を使用して、たたみ込みネットワークを提案します。 ConvNet-AIGは、残余ネットワーク(ResNets)と同様の高レベルの構造に従って、必要なレイヤーをその場で各入力画像に対して決定します。 ImageNetの実験では、ConvNet-AIGが異なるカテゴリの異なる推論グラフを学習することを示しています。 50層と101層のConvNet-AIGはどちらも、ResNetの同等製品よりもパフォーマンスが優れていますが、計算量はそれぞれ20%と38%少なくなっています。パラメーターを関連クラスのレイヤーにグループ化し、関連するレイヤーのみを実行することにより、ConvNet-AIGは効率と全体的な分類品質の両方を向上させます。最後に、敵対的な例に対する感受性に対する適応型推論グラフの影響も調べます。 ConvNet-AIGは他の既知の防御メカニズムを補完し、ResNetよりも高い堅牢性を示すことがわかります。
Do convolutional networks really need a fixed feed-forward structure? What if, after identifying the high-level concept of an image, a network could move directly to a layer that can distinguish fine-grained differences? Currently, a network would first need to execute sometimes hundreds of intermediate layers that specialize in unrelated aspects. Ideally, the more a network already knows about an image, the better it should be at deciding which layer to compute next. In this work, we propose convolutional networks with adaptive inference graphs (ConvNet-AIG) that adaptively define their network topology conditioned on the input image. Following a high-level structure similar to residual networks (ResNets), ConvNet-AIG decides for each input image on the fly which layers are needed. In experiments on ImageNet we show that ConvNet-AIG learns distinct inference graphs for different categories. Both ConvNet-AIG with 50 and 101 layers outperform their ResNet counterpart, while using 20% and 38% less computations respectively. By grouping parameters into layers for related classes and only executing relevant layers, ConvNet-AIG improves both efficiency and overall classification quality. Lastly, we also study the effect of adaptive inference graphs on the susceptibility towards adversarial examples. We observe that ConvNet-AIG shows a higher robustness than ResNets, complementing other known defense mechanisms.
updated: Fri May 08 2020 20:20:25 GMT+0000 (UTC)
published: Thu Nov 30 2017 16:45:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト