主流の展開におけるCNNの出現により、さまざまなハードウェアと遅延の制約の下で精度を最大化するように調整された効率的なアーキテクチャを設計およびトレーニングする方法が必要になりました。展開ターゲットの数が増えるにつれてこれらのリソースを大量に消費するタスクを拡張するために、Once-For-All(OFA)は、一定のトレーニングコストで複数のモデルを同時にトレーニングするアプローチを提案しました。ただし、このコストは40〜50 GPU日と高いままであり、最適ではないモデル構成の組み合わせ爆発にも悩まされています。精度と待ち時間のパレートフロンティアに近いモデルに検索を制限することで、この検索スペース、つまりトレーニング予算を削減しようとしています。モデルの次元間の複合関係の洞察を取り入れて、数桁小さい設計空間であるCompOFAを構築します。 ImageNetでの実験を通じて、単純なヒューリスティックを使用しても、パレート最適性を失うことなく、最先端のモデル検索/抽出時間と比較して、トレーニング時間の2分の1の短縮とモデル検索/抽出時間の216倍の高速化を達成できることを示します。また、この小さな設計スペースは、トレーニングとその後の抽出アルゴリズムの複雑さを軽減しながら、同様の多様なハードウェアとレイテンシーのターゲットに対して同等に正確なモデルをサポートするのに十分な密度であることも示しています。
The emergence of CNNs in mainstream deployment has necessitated methods to design and train efficient architectures tailored to maximize the accuracy under diverse hardware & latency constraints. To scale these resource-intensive tasks with an increasing number of deployment targets, Once-For-All (OFA) proposed an approach to jointly train several models at once with a constant training cost. However, this cost remains as high as 40-50 GPU days and also suffers from a combinatorial explosion of sub-optimal model configurations. We seek to reduce this search space -- and hence the training budget -- by constraining search to models close to the accuracy-latency Pareto frontier. We incorporate insights of compound relationships between model dimensions to build CompOFA, a design space smaller by several orders of magnitude. Through experiments on ImageNet, we demonstrate that even with simple heuristics we can achieve a 2x reduction in training time and 216x speedup in model search/extraction time compared to the state of the art, without loss of Pareto optimality! We also show that this smaller design space is dense enough to support equally accurate models for a similar diversity of hardware and latency targets, while also reducing the complexity of the training and subsequent extraction algorithms.