arXiv reaDer
FreeREA: トレーニング不要の進化ベースのアーキテクチャ検索
FreeREA: Training-Free Evolution-based Architecture Search
過去 10 年間、機械学習の研究のほとんどは、さまざまなタスクを解決するためにニューラル ネットワークのパフォーマンスを向上させることを目的として、既存のモデルの改善に貢献しました。ただし、そのような進歩には、多くの場合、モデルのメモリと計算要件の増加という代償が伴います。これは、コスト、エネルギー消費、フレームワークの複雑さが重要な役割を果たす現実的な環境で研究成果を展開する上での重大な制限を表しています。この問題を解決するには、設計者は設置面積を制限しながらパフォーマンスを最大化するモデルを探す必要があります。この目標を達成するための一般的なアプローチは、最終設計の最適性を保証できない手動手順、または非常に長い計算時間を犠牲にしてプロセスを自動化するニューラル アーキテクチャ検索アルゴリズムに依存します。このペーパーでは、小型デバイスに特有のサイズと計算上の制約を維持しながら、モデルの精度を最大化するニューラル ネットワークを高速に識別するためのソリューションを提供します。 FreeREA と名付けられた私たちのアプローチは、カスタムのセルベースの進化型 NAS アルゴリズムであり、トレーニング不要のメトリクスの最適化された組み合わせを利用して、検索中にアーキテクチャをランク付けするため、モデルのトレーニングは必要ありません。共通ベンチマーク NAS-Bench-101 および NATS-Bench で実行された私たちの実験は、i) FreeREA がモデル自動設計のための高速、効率的、効果的な検索方法であることを実証しています。 ii) 検討したすべてのデータセットおよびベンチマークにおいて、最先端のトレーニングベースおよびトレーニング不要の技術を上回ります。また、iii) 制約のあるシナリオに簡単に一般化でき、一般的な制約のあるアプリケーションにおける高速ニューラル アーキテクチャ検索の競争力のあるソリューションとなります。コードは https://github.com/NiccoloCavagnero/FreeREA で入手できます。
In the last decade, most research in Machine Learning contributed to the improvement of existing models, with the aim of increasing the performance of neural networks for the solution of a variety of different tasks. However, such advancements often come at the cost of an increase of model memory and computational requirements. This represents a significant limitation for the deployability of research output in realistic settings, where the cost, the energy consumption, and the complexity of the framework play a crucial role. To solve this issue, the designer should search for models that maximise the performance while limiting its footprint. Typical approaches to reach this goal rely either on manual procedures, which cannot guarantee the optimality of the final design, or upon Neural Architecture Search algorithms to automatise the process, at the expenses of extremely high computational time. This paper provides a solution for the fast identification of a neural network that maximises the model accuracy while preserving size and computational constraints typical of tiny devices. Our approach, named FreeREA, is a custom cell-based evolution NAS algorithm that exploits an optimised combination of training-free metrics to rank architectures during the search, thus without need of model training. Our experiments, carried out on the common benchmarks NAS-Bench-101 and NATS-Bench, demonstrate that i) FreeREA is a fast, efficient, and effective search method for models automatic design; ii) it outperforms State of the Art training-based and training-free techniques in all the datasets and benchmarks considered, and iii) it can easily generalise to constrained scenarios, representing a competitive solution for fast Neural Architecture Search in generic constrained applications. The code is available at https://github.com/NiccoloCavagnero/FreeREA.
updated: Wed May 10 2023 10:04:17 GMT+0000 (UTC)
published: Fri Jun 17 2022 11:16:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト