arXiv reaDer
State of Compact Architecture Search For Deep Neural Networks
  コンパクトなディープニューラルネットワークの設計は、特にエッジシナリオやモバイルシナリオで、現実世界でディープニューラルネットワークを広く採用できるようにするための重要なタスクです。コンパクトなディープニューラルネットワークを手動で設計するのは時間と困難な性質があるため、コンパクトなネットワークアーキテクチャを自動的に検索するアルゴリズムに関する最近の重要な研究関心があります。特に興味深いクラスのコンパクトアーキテクチャ検索アルゴリズムは、ベースラインネットワークアーキテクチャによって導かれるものです。このようなアルゴリズムは、ガイドなしの方法よりもはるかに計算効率が高いことが示されています。この研究では、4つの異なる最先端のコンパクトアーキテクチャ検索アルゴリズムの理論的および経験的分析の両方を通じて、ディープニューラルネットワークのコンパクトアーキテクチャ検索の現状を調査します:i)グループラッソ正則化、ii)変分ドロップアウト、iii )MorphNet、およびiv)生成的合成。効率、有効性、スケーラビリティなどのさまざまな要因に基づいて、これらの方法を詳細に検討します。さらに、これらのコンパクトアーキテクチャ検索アルゴリズムの有効性を3つの有名なベンチマークデータセットで比較するために、経験的評価が行われます。決して徹底的な調査ではありませんが、この研究が、この比較的新しい研究分野の興味深い状態について、多様性と、アーキテクチャ設計の改善ですでに達成されている実際の具体的な利益に関する洞察を提供することを願っています。さらに、この研究が、ディープニューラルネットワークのコンパクトアーキテクチャ検索の状況にある研究コミュニティと、そのようなアプローチを活用する際の実際的な課題と考慮事項に現在立ち会っている、より深い理論的および経験的理解に向けて会話を進める助けになることを期待しています操作上の使用のため。
The design of compact deep neural networks is a crucial task to enable widespread adoption of deep neural networks in the real-world, particularly for edge and mobile scenarios. Due to the time-consuming and challenging nature of manually designing compact deep neural networks, there has been significant recent research interest into algorithms that automatically search for compact network architectures. A particularly interesting class of compact architecture search algorithms are those that are guided by baseline network architectures. Such algorithms have been shown to be significantly more computationally efficient than unguided methods. In this study, we explore the current state of compact architecture search for deep neural networks through both theoretical and empirical analysis of four different state-of-the-art compact architecture search algorithms: i) group lasso regularization, ii) variational dropout, iii) MorphNet, and iv) Generative Synthesis. We examine these methods in detail based on a number of different factors such as efficiency, effectiveness, and scalability. Furthermore, empirical evaluations are conducted to compare the efficacy of these compact architecture search algorithms across three well-known benchmark datasets. While by no means an exhaustive exploration, we hope that this study helps provide insights into the interesting state of this relatively new area of research in terms of diversity and real, tangible gains already achieved in architecture design improvements. Furthermore, the hope is that this study would help in pushing the conversation forward towards a deeper theoretical and empirical understanding where the research community currently stands in the landscape of compact architecture search for deep neural networks, and the practical challenges and considerations in leveraging such approaches for operational usage.
updated: Tue Oct 15 2019 00:16:52 GMT+0000 (UTC)
published: Tue Oct 15 2019 00:16:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト