ディープラーニングは、機械学習パイプラインの機能の設計を自動化することに成功しています。ただし、ニューラルネットワークパラメータを最適化するアルゴリズムは、大部分が手作業で設計されており、計算効率が悪いままです。他のネットワークのトレーニングに関する過去の知識を活用して、ディープラーニングを使用してこれらのパラメーターを直接予測できるかどうかを調査します。ニューラルアーキテクチャの多様な計算グラフの大規模なデータセット(DeepNets-1M)を紹介し、それを使用してCIFAR-10およびImageNetでのパラメーター予測を調査します。グラフニューラルネットワークの進歩を活用することにより、CPU上でも、わずか1秒で1回のフォワードパスでパフォーマンスパラメータを予測できるハイパーネットワークを提案します。提案されたモデルは、目に見えない多様なネットワークで驚くほど優れたパフォーマンスを実現します。たとえば、ResNet-50の2400万個のパラメータすべてを予測して、CIFAR-10で60%の精度を達成できます。 ImageNetでは、一部のネットワークの上位5つの精度が50%に近づいています。モデルと結果とともに私たちのタスクは、トレーニングネットワークの新しい、より計算効率の高いパラダイムにつながる可能性があります。私たちのモデルは、分析を可能にするニューラルアーキテクチャの強力な表現も学習します。
Deep learning has been successful in automating the design of features in machine learning pipelines. However, the algorithms optimizing neural network parameters remain largely hand-designed and computationally inefficient. We study if we can use deep learning to directly predict these parameters by exploiting the past knowledge of training other networks. We introduce a large-scale dataset of diverse computational graphs of neural architectures - DeepNets-1M - and use it to explore parameter prediction on CIFAR-10 and ImageNet. By leveraging advances in graph neural networks, we propose a hypernetwork that can predict performant parameters in a single forward pass taking a fraction of a second, even on a CPU. The proposed model achieves surprisingly good performance on unseen and diverse networks. For example, it is able to predict all 24 million parameters of a ResNet-50 achieving a 60% accuracy on CIFAR-10. On ImageNet, top-5 accuracy of some of our networks approaches 50%. Our task along with the model and results can potentially lead to a new, more computationally efficient paradigm of training networks. Our model also learns a strong representation of neural architectures enabling their analysis.