arXiv reaDer
VEGA:エンドツーエンドの構成可能なAutoMLパイプラインに向けて
VEGA: Towards an End-to-End Configurable AutoML Pipeline
自動機械学習(AutoML)は、機械学習モデルの自動検出と展開のための重要な産業用ソリューションです。ただし、統合AutoMLシステムの設計は、構成可能性、スケーラビリティ、統合可能性、およびプラットフォームの多様性という4つの大きな課題に直面しています。この作業では、複数のハードウェアプラットフォームと互換性があり、最適化された効率的で包括的なAutoMLフレームワークであるVEGAを紹介します。 a)VEGAパイプラインは、ニューラルアーキテクチャ検索(NAS)、ハイパーパラメータ最適化(HPO)、自動データ拡張、モデル圧縮、完全トレーニングなど、AutoMLのさまざまなモジュールを統合します。 b)さまざまな検索アルゴリズムとタスクをサポートするために、さまざまな検索アルゴリズムとタスクに簡単に適応できるように、新しいきめ細かい検索スペースとその記述言語を設計します。 c)ディープラーニングフレームワークの一般的なコンポーネントを統合されたインターフェイスに抽象化します。 VEGAは、複数のバックエンドとハードウェアで実行できます。複数のタスクに関する広範なベンチマーク実験は、VEGAが既存のAutoMLアルゴリズムを改善し、SOTAメソッドに対して新しい高性能モデルを発見できることを示しています。たとえば、検索されたDNetモデル動物園はEfficientNet-B5より10倍速く、ImageNetでRegNetX-32GFより9.2倍速くなっています。 。 VEGAはhttps://github.com/huawei-noah/vegaでオープンソース化されています。
Automated Machine Learning (AutoML) is an important industrial solution for automatic discovery and deployment of the machine learning models. However, designing an integrated AutoML system faces four great challenges of configurability, scalability, integrability, and platform diversity. In this work, we present VEGA, an efficient and comprehensive AutoML framework that is compatible and optimized for multiple hardware platforms. a) The VEGA pipeline integrates various modules of AutoML, including Neural Architecture Search (NAS), Hyperparameter Optimization (HPO), Auto Data Augmentation, Model Compression, and Fully Train. b) To support a variety of search algorithms and tasks, we design a novel fine-grained search space and its description language to enable easy adaptation to different search algorithms and tasks. c) We abstract the common components of deep learning frameworks into a unified interface. VEGA can be executed with multiple back-ends and hardwares. Extensive benchmark experiments on multiple tasks demonstrate that VEGA can improve the existing AutoML algorithms and discover new high-performance models against SOTA methods, e.g. the searched DNet model zoo for Ascend 10x faster than EfficientNet-B5 and 9.2x faster than RegNetX-32GF on ImageNet. VEGA is open-sourced at https://github.com/huawei-noah/vega.
updated: Tue Nov 03 2020 06:53:53 GMT+0000 (UTC)
published: Tue Nov 03 2020 06:53:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト