arXiv reaDer
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
  ニューラルネットワークアーキテクチャを設計する際に、しばしばニューラルアーキテクチャ検索(NAS)と呼ばれる自動手法の使用が注目を集めています。この作業では、既存のウェイトシェアリングベースのNASアプローチを一般化するHM-NASという名前の効率的なNASアプローチを紹介します。既存のウェイトシェアリングベースのNASアプローチでは、アーキテクチャの候補を生成するために、依然として手動で設計されたヒューリスティックが採用されています。結果として、アーキテクチャ候補のスペースは、考えられるすべてのアーキテクチャのサブセットに制約され、アーキテクチャの検索結果は最適ではなくなります。 HM-NASは、2つの革新を通じてこの制限に対処しています。まず、HM-NASには、より柔軟なネットワークアーキテクチャの検索を可能にするマルチレベルアーキテクチャエンコーディングスキームが組み込まれています。次に、手作業で設計されたヒューリスティックを破棄し、最適なアーキテクチャを自動的に学習して決定する階層的なマスキングスキームを組み込みます。最先端のウェイトシェアリングベースのアプローチと比較して、HM-NASはより優れたアーキテクチャ検索パフォーマンスと競合モデル評価精度を達成できます。手動で設計されたヒューリスティックによる制約がないため、検索ネットワークには、既存のウェイトシェアリングベースのNASアプローチでは発見できない、より柔軟で意味のあるアーキテクチャが含まれています。
The use of automatic methods, often referred to as Neural Architecture Search (NAS), in designing neural network architectures has recently drawn considerable attention. In this work, we present an efficient NAS approach, named HM- NAS, that generalizes existing weight sharing based NAS approaches. Existing weight sharing based NAS approaches still adopt hand-designed heuristics to generate architecture candidates. As a consequence, the space of architecture candidates is constrained in a subset of all possible architectures, making the architecture search results sub-optimal. HM-NAS addresses this limitation via two innovations. First, HM-NAS incorporates a multi-level architecture encoding scheme to enable searching for more flexible network architectures. Second, it discards the hand-designed heuristics and incorporates a hierarchical masking scheme that automatically learns and determines the optimal architecture. Compared to state-of-the-art weight sharing based approaches, HM-NAS is able to achieve better architecture search performance and competitive model evaluation accuracy. Without the constraint imposed by the hand-designed heuristics, our searched networks contain more flexible and meaningful architectures that existing weight sharing based NAS approaches are not able to discover.
updated: Sat Sep 07 2019 08:33:25 GMT+0000 (UTC)
published: Sat Aug 31 2019 04:02:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト