arXiv reaDer
DOTS:微分可能アーキテクチャ検索における操作とトポロジーの分離
DOTS: Decoupling Operation and Topology in Differentiable Architecture Search
微分可能アーキテクチャ検索(DARTS)は、セル構造の検索が効率的であるため、大きな注目を集めています。 DARTSは主に操作の検索に重点を置き、操作の重みからセルトポロジを導き出します。ただし、操作の重みはセルトポロジの重要性を示すことができず、トポロジ評価の正確性が低下します。これに取り組むために、トポロジー表現を操作の重みから切り離し、明示的なトポロジー検索を行う、操作とトポロジー検索(DOTS)を分離することを提案します。 DOTSは、候補エッジの組み合わせを含むトポロジ検索スペースを導入することによって実現されます。提案された検索スペースは、検索の目的を直接反映し、検索されたセル内の柔軟な数のエッジをサポートするように簡単に拡張できます。既存のグラジエントベースのNASメソッドをDOTSに組み込んで、トポロジ検索によってさらに改善することができます。一部の操作(スキップ接続など)がトポロジに影響を与える可能性があることを考慮して、トポロジ関連の操作を保持してトポロジ検索を改善するためのグループ操作検索スキームを提案します。 CIFAR10 / 100とImageNetでの実験は、DOTSが微分可能なNASの効果的なソリューションであることを示しています。
Differentiable Architecture Search (DARTS) has attracted extensive attention due to its efficiency in searching for cell structures. DARTS mainly focuses on the operation search and derives the cell topology from the operation weights. However, the operation weights can not indicate the importance of cell topology and result in poor topology rating correctness. To tackle this, we propose to Decouple the Operation and Topology Search (DOTS), which decouples the topology representation from operation weights and makes an explicit topology search. DOTS is achieved by introducing a topology search space that contains combinations of candidate edges. The proposed search space directly reflects the search objective and can be easily extended to support a flexible number of edges in the searched cell. Existing gradient-based NAS methods can be incorporated into DOTS for further improvement by the topology search. Considering that some operations (e.g., Skip-Connection) can affect the topology, we propose a group operation search scheme to preserve topology-related operations for a better topology search. The experiments on CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for differentiable NAS.
updated: Thu Apr 08 2021 07:36:23 GMT+0000 (UTC)
published: Fri Oct 02 2020 13:00:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト