arXiv reaDer
DARTS +:早期停止による差別化可能なアーキテクチャ検索の改善
DARTS+: Improved Differentiable Architecture Search with Early Stopping
最近、ニューラルアーキテクチャ設計のプロセスを自動化することに関心が高まっており、Differentiable Architecture Search(DARTS)メソッドにより、数GPU日以内にプロセスを利用できるようになります。ただし、検索エポックの数が多くなると、DARTSのパフォーマンスが低下することがよくあります。一方、選択したアーキテクチャには多くの「スキップ接続」があります。この論文では、崩壊の原因はDARTSの最適化に過剰適合が存在することであると主張します。したがって、特定の基準を満たしたときに検索手順を「早期停止」することにより、崩壊を回避し、元のDARTSを改善するために、「DARTS +」という名前のシンプルで効果的なアルゴリズムを提案します。また、ベンチマークデータセットとさまざまな検索スペースで包括的な実験を行い、DARTS +アルゴリズムの有効性を示しています。DARTS+は、CIFAR10で2.32%、CIFAR100で14.87%、ImageNetで23.7%のテストエラーを達成しています。さらに、「早期停止」の概念は、「早期停止」の明示的な基準を示しながら、少数の検索エポックを手動で設定することにより、一部の既存のDARTSバリアントに暗黙的に含まれていることに注意してください。
Recently, there has been a growing interest in automating the process of neural architecture design, and the Differentiable Architecture Search (DARTS) method makes the process available within a few GPU days. However, the performance of DARTS is often observed to collapse when the number of search epochs becomes large. Meanwhile, lots of " skip-connects" are found in the selected architectures. In this paper, we claim that the cause of the collapse is that there exists overfitting in the optimization of DARTS. Therefore, we propose a simple and effective algorithm, named "DARTS+", to avoid the collapse and improve the original DARTS, by "early stopping" the search procedure when meeting a certain criterion. We also conduct comprehensive experiments on benchmark datasets and different search spaces and show the effectiveness of our DARTS+ algorithm, and DARTS+ achieves 2.32% test error on CIFAR10, 14.87% on CIFAR100, and 23.7% on ImageNet. We further remark that the idea of "early stopping" is implicitly included in some existing DARTS variants by manually setting a small number of search epochs, while we give an explicit criterion for "early stopping".
updated: Tue Oct 20 2020 06:21:28 GMT+0000 (UTC)
published: Fri Sep 13 2019 05:07:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト