arXiv reaDer
Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks
 Deep Convolutional Neural Networks(CNN)は画像分類タスクで広く使用されていますが、CNNアーキテクチャの設計プロセスは非常に複雑であるため、最適なCNNアーキテクチャを自動的に検索するNeural Architecture Search(NAS)は、ますます多くの研究関心を集めています。ただし、実際のアプリケーションにNASを適用するには、NASの計算コストが高すぎることがよくあります。この論文では、EPSOCNNという名前の効率的な粒子群最適化手法を提案し、転移学習のアイデアに触発されたCNNアーキテクチャを進化させました。 EPSOCNNは、検索スペースを単一ブロックに最小化し、トレーニングセットの小さなサブセットを利用して進化プロセス中にCNNを評価することにより、計算コストを削減します。一方、EPSOCNNは、進化したブロックを複数回積み重ねてデータセット全体に適合することにより、非常に競争力のある分類精度を維持します。提案されたEPSOCNNアルゴリズムは、CIFAR-10データセットで評価され、手作業で作成され、強化学習方法で進化し、進化的計算アプローチで進化した13のピア競合他社と比較されます。これは、ピア競合他社のすべてを上回ることで非常に有望な結果を示しています分類の精度、パラメータの数、計算コストに関して。
Deep Convolutional Neural Networks (CNNs) have been widely used in image classification tasks, but the process of designing CNN architectures is very complex, so Neural Architecture Search (NAS), automatically searching for optimal CNN architectures, has attracted more and more research interests. However, the computational cost of NAS is often too high to apply NAS on real-life applications. In this paper, an efficient particle swarm optimisation method named EPSOCNN is proposed to evolve CNN architectures inspired by the idea of transfer learning. EPSOCNN successfully reduces the computation cost by minimising the search space to a single block and utilising a small subset of the training set to evaluate CNNs during evolutionary process. Meanwhile, EPSOCNN also keeps very competitive classification accuracy by stacking the evolved block multiple times to fit the whole dataset. The proposed EPSOCNN algorithm is evaluated on CIFAR-10 dataset and compared with 13 peer competitors comprised of deep CNNs crafted by hand, learned by reinforcement learning methods and evolved by evolutionary computation approaches, which shows very promising results by outperforming all of the peer competitors with regard to the classification accuracy, number of parameters and the computational cost.
updated: Sat Mar 21 2020 04:25:01 GMT+0000 (UTC)
published: Mon Jul 29 2019 21:30:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト