arXiv reaDer
One-Shot Neural Architecture Search via Self-Evaluated Template Network
ニューラルアーキテクチャ検索(NAS)は、手動設計ではなく、アーキテクチャの検索手順を自動化することを目的としています。最近のNASアプローチが数日以内に検索を終了したとしても、特定のアーキテクチャ候補が正確な評価のためのパラメータを取得するには、長いトレーニングが必要です。最近、候補者間でパラメータを共有することにより、面倒なトレーニングプロセスを大幅に削減するために、ワンショットNASメソッドが提案されています。このようにして、各候補のパラメーターを最初からトレーニングするのではなく、共有パラメーターから直接抽出できます。ただし、評価するまでどの候補者のパフォーマンスが向上するかわからないため、評価する候補者がランダムにサンプリングされ、上位1人の候補者が最良と見なされます。本稿では、自己評価型テンプレートネットワーク(SETN)を提案し、評価対象のアーキテクチャ候補の品質を向上させて、競争力のある候補をカバーする可能性を高めます。 SETNは、次の2つのコンポーネントで構成されます。(1)評価者。個々のアーキテクチャの検証損失が低くなる可能性を示すことを学習します。したがって、評価の候補は、この評価者に従って選択的にサンプリングすることができます。 (2)生成された候補者のトレーニング費用を償却するために、すべての候補者間でパラメータを共有するテンプレートネットワーク。実験では、SETNによって発見されたアーキテクチャは、同等の計算コスト内でCIFARおよびImageNetベンチマークで最先端のパフォーマンスを実現します。コードはGitHubで公開されています:。
Neural architecture search (NAS) aims to automate the search procedure of architecture instead of manual design. Even if recent NAS approaches finish the search within days, lengthy training is still required for a specific architecture candidate to get the parameters for its accurate evaluation. Recently one-shot NAS methods are proposed to largely squeeze the tedious training process by sharing parameters across candidates. In this way, the parameters for each candidate can be directly extracted from the shared parameters instead of training them from scratch. However, they have no sense of which candidate will perform better until evaluation so that the candidates to evaluate are randomly sampled and the top-1 candidate is considered the best. In this paper, we propose a Self-Evaluated Template Network (SETN) to improve the quality of the architecture candidates for evaluation so that it is more likely to cover competitive candidates. SETN consists of two components: (1) an evaluator, which learns to indicate the probability of each individual architecture being likely to have a lower validation loss. The candidates for evaluation can thus be selectively sampled according to this evaluator. (2) a template network, which shares parameters among all candidates to amortize the training cost of generated candidates. In experiments, the architecture found by SETN achieves state-of-the-art performance on CIFAR and ImageNet benchmarks within comparable computation costs. Code is publicly available on GitHub:
updated: Mon Jan 25 2021 13:32:40 GMT+0000 (UTC)
published: Sun Oct 13 2019 11:25:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト