arXiv reaDer
NASIB: Neural Architecture Search withIn Budget
  ニューラルアーキテクチャ検索(NAS)は、最適なニューラルネットワークアーキテクチャを生成し、通常、検証損失などの特定のメトリックに収束するまで候補アーキテクチャを反復するメソッドのクラスを表します。特にエンタープライズ環境では、利用可能な計算リソースに制約されます。このホワイトペーパーでは、NASIBと呼ばれるNASの新しいアプローチを提案します。これは、探査と搾取のトレードオフを変えることにより、利用可能な計算リソース(予算)に適応して調整します。 Superkernelsによって誘導された拡張検索スペースを検索することにより、専門家のバイアスを減らします。提案された方法は、オーダーメイドのアーキテクチャモチーフとドメインの専門知識に欠ける自然画像の画像分類を超えて、異なる計算リソースと異なるドメインに役立つアーキテクチャ検索を提供できます。 CIFAR10では、わずか1.5 GPU日で従来の従来技術よりも12倍の候補操作で構成されるスペースを検索しながら、最先端の精度に近いことを検索できることを示しています。私たちの方法は、指数関数的に大きな検索スペースを検索しますが、既存の方法の大部分と比較して、ドメインの専門知識が少ない新しいアーキテクチャにつながる可能性があります。
Neural Architecture Search (NAS) represents a class of methods to generate the optimal neural network architecture and typically iterate over candidate architectures till convergence over some particular metric like validation loss. They are constrained by the available computation resources, especially in enterprise environments. In this paper, we propose a new approach for NAS, called NASIB, which adapts and attunes to the computation resources (budget) available by varying the exploration vs. exploitation trade-off. We reduce the expert bias by searching over an augmented search space induced by Superkernels. The proposed method can provide the architecture search useful for different computation resources and different domains beyond image classification of natural images where we lack bespoke architecture motifs and domain expertise. We show, on CIFAR10, that itis possible to search over a space that comprises of 12x more candidate operations than the traditional prior art in just 1.5 GPU days, while reaching close to state of the art accuracy. While our method searches over an exponentially larger search space, it could lead to novel architectures that require lesser domain expertise, compared to the majority of the existing methods.
updated: Sat Oct 19 2019 00:12:39 GMT+0000 (UTC)
published: Sat Oct 19 2019 00:12:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト