arXiv reaDer
AutoGrow: Automatic Layer Growing in Deep Convolutional Networks
 深さはディープニューラルネットワーク(DNN)の主要なコンポーネントですが、深さの設計はヒューリスティックであり、多くの人間の努力が必要です。 AutoNrowは、DNNの深度検出を自動化することを提案します。浅いシードアーキテクチャから始めて、AutoGrowは、成長が精度を向上させる場合、新しいレイヤーを成長させます。そうでなければ、成長が止まり、深さが発見されます。さまざまなネットワークアーキテクチャとデータセットに一般化するための堅牢な成長と停止のポリシーを提案します。私たちの実験では、同じポリシーを異なるネットワークアーキテクチャに適用することにより、AutoGrowは常にMNIST、FashionMNIST、SVHN、CIFAR10、CIFAR100、ImageNetのさまざまなデータセットで最適に近い深度を発見できることが示されています。たとえば、精度と計算のトレードオフの観点から、AutoGrowは人間の専門家よりもResNetでより深い組み合わせを発見します。 AutoGrowは効率的です。単一のDNNのトレーニングと同じ時間内に深さを発見します。コードはで入手できます。
Depth is a key component of Deep Neural Networks (DNNs), however, designing depth is heuristic and requires many human efforts. We propose AutoGrow to automate depth discovery in DNNs: starting from a shallow seed architecture, AutoGrow grows new layers if the growth improves the accuracy; otherwise, stops growing and thus discovers the depth. We propose robust growing and stopping policies to generalize to different network architectures and datasets. Our experiments show that by applying the same policy to different network architectures, AutoGrow can always discover near-optimal depth on various datasets of MNIST, FashionMNIST, SVHN, CIFAR10, CIFAR100 and ImageNet. For example, in terms of accuracy-computation trade-off, AutoGrow discovers a better depth combination in ResNets than human experts. Our AutoGrow is efficient. It discovers depth within similar time of training a single DNN. Our code is available at
updated: Mon Jun 15 2020 18:09:02 GMT+0000 (UTC)
published: Fri Jun 07 2019 05:54:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト