arXiv reaDer
Graph HyperNetworks for Neural Architecture Search
ニューラルアーキテクチャ検索(NAS)は、最適なタスク固有のニューラルネットワークトポロジを自動的に検出し、多くの手動アーキテクチャ設計を上回ります。ただし、検索には何千もの異なるネットワークのトレーニングが必要であり、それぞれが数時間続く可能性があるため、非常にコストがかかる可能性があります。この作業では、検索コストを償却するためにGraph HyperNetwork(GHN)を提案します。アーキテクチャが与えられると、グラフニューラルネットワークで推論を実行することによって重みを直接生成します。 GHNはアーキテクチャのトポロジをモデル化するため、通常のハイパーネットワークや早期停止よりも正確にネットワークパフォーマンスを予測できます。 NASを実行するために、アーキテクチャをランダムにサンプリングし、GHNで生成された重みを代理検索信号として使用するネットワークの検証精度を使用します。 GHNは高速です。CIFAR-10およびImageNetの他のランダム検索方法よりも約10倍高速に検索できます。 GHNは、いつでも予測設定にさらに拡張できます。この設定では、最先端の手動設計よりも速度と精度のトレードオフが優れたネットワークが見つかりました。
Neural architecture search (NAS) automatically finds the best task-specific neural network topology, outperforming many manual architecture designs. However, it can be prohibitively expensive as the search requires training thousands of different networks, while each can last for hours. In this work, we propose the Graph HyperNetwork (GHN) to amortize the search cost: given an architecture, it directly generates the weights by running inference on a graph neural network. GHNs model the topology of an architecture and therefore can predict network performance more accurately than regular hypernetworks and premature early stopping. To perform NAS, we randomly sample architectures and use the validation accuracy of networks with GHN generated weights as the surrogate search signal. GHNs are fast -- they can search nearly 10 times faster than other random search methods on CIFAR-10 and ImageNet. GHNs can be further extended to the anytime prediction setting, where they have found networks with better speed-accuracy tradeoff than the state-of-the-art manual designs.
updated: Fri Dec 18 2020 18:01:04 GMT+0000 (UTC)
published: Fri Oct 12 2018 22:21:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト