ニューラルネットワークを現実的に使用するには、多くの場合、特に遅延、エネルギー、メモリに関する複数の制約を順守する必要があります。適切なネットワークを見つけるための一般的なアプローチは、制約付きニューラルアーキテクチャ検索(NAS)を使用することです。ただし、以前の方法では、ネットワークの精度のために複雑な予測子を使用していました。これらの予測子は解釈が難しく、調整する多くのハイパーパラメータに敏感であるため、生成されたモデルの結果として得られる精度が損なわれることがよくあります。この作業では、精度予測子と予想されるリソース要件の両方の正確で単純な2次定式化に基づく、解釈可能な整数2次計画法ニューラルアーキテクチャ検索(IQNAS)と、理論的に保証されたスケーラブルな検索方法を導入することで、これを解決します。提案された予測子の単純さと、それが構築される直感的な方法により、さまざまな設計選択の寄与に関する多くの洞察を通じて解釈可能性がもたらされます。たとえば、調査した検索スペースでは、ネットワークのより深い段階と各解決段階の開始時に、深さと幅を追加する方が効果的であることがわかります。私たちの実験によると、IQNASは、リソースの制約を厳密に満たしながら、生成されたネットワークを追加するたびに検索コストを削減しながら、他の最先端のNASメソッドと同等またはそれ以上のアーキテクチャを生成します。
Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS). However, previous methods use complicated predictors for the accuracy of the network. Those predictors are hard to interpret and sensitive to many hyperparameters to be tuned, hence, the resulting accuracy of the generated models is often harmed. In this work we resolve this by introducing Interpretable Integer Quadratic programming Neural Architecture Search (IQNAS), that is based on an accurate and simple quadratic formulation of both the accuracy predictor and the expected resource requirement, together with a scalable search method with theoretical guarantees. The simplicity of our proposed predictor together with the intuitive way it is constructed bring interpretability through many insights about the contribution of different design choices. For example, we find that in the examined search space, adding depth and width is more effective at deeper stages of the network and at the beginning of each resolution stage. Our experiments show that IQNAS generates comparable to or better architectures than other state-of-the-art NAS methods within a reduced search cost for each additional generated network, while strictly satisfying the resource constraints.