arXiv reaDer
AutoML: A Survey of the State-of-the-Art
ディープラーニング(DL)技術は私たちの生活のすべての側面に浸透し、非常に便利になりました。ただし、特定のタスクのために高品質のDLシステムを構築することは、人間の専門知識に大きく依存しており、DLのより多くの領域への適用を妨げています。自動機械学習(AutoML)は、人間の支援なしでDLシステムを構築するための有望なソリューションになり、ますます多くの研究者がAutoMLに注力しています。このホワイトペーパーでは、AutoMLにおける最先端(SOTA)の包括的で最新のレビューを提供します。最初に、データ準備、機能エンジニアリング、ハイパーパラメーター最適化、ニューラルアーキテクチャ検索(NAS)をカバーする、パイプラインに応じたAutoMLメソッドを紹介します。現在AutoMLの非常にホットなサブトピックであるため、NASに重点を置いています。 CIFAR-10およびImageNetデータセットでの代表的なNASアルゴリズムのパフォーマンスを要約し、NASメソッドのいくつかの価値ある研究方向についてさらに議論します:1/2ステージNAS、ワンショットNAS、およびハイパーパラメーターとアーキテクチャの最適化の結合。最後に、既存のAutoMLメソッドの未解決の問題について、今後の研究に備えて説明します。
Deep learning (DL) techniques have penetrated all aspects of our lives and brought us great convenience. However, building a high-quality DL system for a specific task highly relies on human expertise, hindering the applications of DL to more areas. Automated machine learning (AutoML) becomes a promising solution to build a DL system without human assistance, and a growing number of researchers focus on AutoML. In this paper, we provide a comprehensive and up-to-date review of the state-of-the-art (SOTA) in AutoML. First, we introduce AutoML methods according to the pipeline, covering data preparation, feature engineering, hyperparameter optimization, and neural architecture search (NAS). We focus more on NAS, as it is currently very hot sub-topic of AutoML. We summarize the performance of the representative NAS algorithms on the CIFAR-10 and ImageNet datasets and further discuss several worthy studying directions of NAS methods: one/two-stage NAS, one-shot NAS, and joint hyperparameter and architecture optimization. Finally, we discuss some open problems of the existing AutoML methods for future research.
updated: Fri Apr 16 2021 03:38:23 GMT+0000 (UTC)
published: Fri Aug 02 2019 05:56:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト