arXiv reaDer
SPDマニホールドネットワークのニューラルアーキテクチャ検索
Neural Architecture Search of SPD Manifold Networks
本論文では、SPDニューラルアーキテクチャの設計を自動化することを目的として、対称正定値(SPD)多様体ネットワークの新しいニューラルアーキテクチャ検索(NAS)問題を提案します。この問題に対処するために、まず、効率的なSPDセル設計のために、幾何学的に豊富で多様なSPDニューラルアーキテクチャ検索スペースを導入します。さらに、単一のスーパーネットのワンショットトレーニングプロセスを使用して、新しいNAS問題をモデル化します。スーパーネットモデリングに基づいて、SPDニューラルアーキテクチャ検索のためのリラックスした連続検索空間で微分可能なNASアルゴリズムを活用します。ドローン、アクション、および感情認識タスクに関する私たちの方法の統計的評価は、ほとんどの場合、最先端のSPDネットワークおよび従来のNASアルゴリズムよりも優れた結果を提供します。経験的な結果は、私たちのアルゴリズムがより優れたパフォーマンスのSPDネットワーク設計の発見に優れており、最先端のNASアルゴリズムで検索されるよりも3倍以上軽いモデルを提供することを示しています。
In this paper, we propose a new neural architecture search (NAS) problem of Symmetric Positive Definite (SPD) manifold networks, aiming to automate the design of SPD neural architectures. To address this problem, we first introduce a geometrically rich and diverse SPD neural architecture search space for an efficient SPD cell design. Further, we model our new NAS problem with a one-shot training process of a single supernet. Based on the supernet modeling, we exploit a differentiable NAS algorithm on our relaxed continuous search space for SPD neural architecture search. Statistical evaluation of our method on drone, action, and emotion recognition tasks mostly provides better results than the state-of-the-art SPD networks and traditional NAS algorithms. Empirical results show that our algorithm excels in discovering better performing SPD network design and provides models that are more than three times lighter than searched by the state-of-the-art NAS algorithms.
updated: Sun Jun 13 2021 21:24:32 GMT+0000 (UTC)
published: Tue Oct 27 2020 18:08:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト