arXiv reaDer
ニューラル アーキテクチャ検索におけるサブアーキテクチャ アンサンブル プルーニング
Sub-Architecture Ensemble Pruning in Neural Architecture Search
ニューラル アーキテクチャ サーチ (NAS) は、その柔軟性とニューラル ネットワーク設計の負担を軽減する優れた機能により、近年ますます注目されています。ただし、パフォーマンスを向上させるには、通常、検索プロセスに大量の計算が必要であり、研究者や実務家にとっては手頃な価格ではない可能性があります。最近の試みは、膨大な計算コストを軽減するためにアンサンブル学習法を採用していますが、アンサンブル法の重要な特性、つまり多様性を無視しており、最終的な設計で冗長性を持つ可能性のあるより類似したサブアーキテクチャを収集することにつながります。この問題に対処するために、「Sub-Architecture Ensemble Pruning in Neural Architecture Search (SAEP)」と呼ばれる NAS アンサンブルの枝刈り方法を提案します。これは、多様性を活用し、剪定されていないアンサンブル アーキテクチャに匹敵するパフォーマンスを備えた、より小さいサイズのサブアンサンブル アーキテクチャを実現することを目的としています。検索プロセス中にどのサブアーキテクチャをプルーニングするかを決定するために、3 つの可能な解決策が提案されています。実験結果は、性能を低下させることなくサブアーキテクチャの数を大幅に削減することにより、提案された方法の有効性を示しています。
Neural architecture search (NAS) is gaining more and more attention in recent years due to its flexibility and remarkable capability to reduce the burden of neural network design. To achieve better performance, however, the searching process usually costs massive computations that might not be affordable for researchers and practitioners. While recent attempts have employed ensemble learning methods to mitigate the enormous computational cost, however, they neglect a key property of ensemble methods, namely diversity, which leads to collecting more similar sub-architectures with potential redundancy in the final design. To tackle this problem, we propose a pruning method for NAS ensembles called "Sub-Architecture Ensemble Pruning in Neural Architecture Search (SAEP)." It targets to leverage diversity and to achieve sub-ensemble architectures at a smaller size with comparable performance to ensemble architectures that are not pruned. Three possible solutions are proposed to decide which sub-architectures to prune during the searching process. Experimental results exhibit the effectiveness of the proposed method by largely reducing the number of sub-architectures without degrading the performance.
updated: Fri May 28 2021 03:37:48 GMT+0000 (UTC)
published: Tue Oct 01 2019 13:26:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト