arXiv reaDer
Teacher Guided Architecture Search
  コンピュータビジョンのニューラルネットワークにおける最近の改善の多くは、新しいネットワークアーキテクチャの発見に起因しています。ほとんどの先行研究では、限られたトレーニングに続いて候補モデルのパフォーマンスを使用して、実行可能な方法で検索を自動的にガイドしていました。未知の詳細なアーキテクチャ(霊長類の視覚システムなど)を備えた高性能ネットワークの測定を介して検索をガイドすることにより、計算効率をさらに向上させることができますか?この目標に向けた1つのステップとして、表現の類似性分析を使用して、候補ネットワークの内部活性化と(固定、高性能)教師ネットワークの内部活性化の類似性を評価します。この評価基準を採用することで、パフォーマンスに基づいた方法よりも検索効率が大幅に向上する可能性があることを示します。私たちのアプローチは、他の方法を使用して以前に見つかったものと同様のパフォーマンスを備えた畳み込みセル構造を見つけますが、総計算コストはニューラルアーキテクチャ検索(NAS)より2桁低く、プログレッシブニューラルアーキテクチャ検索(PNAS)よりも4倍以上低いです)。さらに、霊長類の視覚系の最大300個のニューロンからの測定が、パフォーマンスガイドアーキテクチャ検索だけで達成されるものよりも大幅に低いImagenet top-1エラーのあるネットワークを見つけるのに十分な信号を提供することを示します。これらの結果は、脳の感覚処理ネットワークなど、関心のある教師ネットワークの内部表現の一部またはすべてにアクセスできる場合、表現マッチングを使用してネットワークアーキテクチャの検索を高速化できることを示唆しています。
Much of the recent improvement in neural networks for computer vision has resulted from discovery of new networks architectures. Most prior work has used the performance of candidate models following limited training to automatically guide the search in a feasible way. Could further gains in computational efficiency be achieved by guiding the search via measurements of a high performing network with unknown detailed architecture (e.g. the primate visual system)? As one step toward this goal, we use representational similarity analysis to evaluate the similarity of internal activations of candidate networks with those of a (fixed, high performing) teacher network. We show that adopting this evaluation metric could produce up to an order of magnitude in search efficiency over performance-guided methods. Our approach finds a convolutional cell structure with similar performance as was previously found using other methods but at a total computational cost that is two orders of magnitude lower than Neural Architecture Search (NAS) and more than four times lower than progressive neural architecture search (PNAS). We further show that measurements from only ~300 neurons from primate visual system provides enough signal to find a network with an Imagenet top-1 error that is significantly lower than that achieved by performance-guided architecture search alone. These results suggest that representational matching can be used to accelerate network architecture search in cases where one has access to some or all of the internal representations of a teacher network of interest, such as the brain's sensory processing networks.
updated: Fri Sep 06 2019 13:09:37 GMT+0000 (UTC)
published: Sat Aug 04 2018 01:43:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト