微分可能ニューラルアーキテクチャ検索(DARTS)は、より柔軟で多様な細胞タイプの発見に大きな成功を収めています。現在の方法は、検索中に操作とトポロジーを結合し、手作りのルールによって最適なトポロジーを単純に導き出します。ただし、トポロジは、操作の機能間の相互作用を制御するため、ニューラルアーキテクチャにとっても重要です。この論文では、微分可能NASでのトポロジー学習に焦点を当て、検索中に操作の選択とトポロジーを直接分離するために、TopoNASという名前の明示的なトポロジーモデリング手法を提案します。具体的には、トポロジ変数のセットと組み合わせ確率分布を導入して、ターゲットトポロジを明示的に示します。さらに、パッシブアグレッシブ正則化を活用して、スーパーネット内の無効なトポロジを抑制します。導入されたトポロジ変数は、操作変数およびスーパーネットの重みと一緒に学習でき、さまざまなDARTSバリアントに適用できます。 CIFAR-10とImageNetでの広範な実験により、提案されたTopoNASの有効性が検証されます。結果は、TopoNASがより多様で複雑なトポロジーを持つセルを検索し、パフォーマンスを大幅に向上させることを可能にすることを示しています。たとえば、TopoNASは、CIFAR-10データセットでDARTSの精度を40%削減して0.16%、または同様のパラメーターで0.35%向上させることができます。
Differentiable neural architecture search (DARTS) has gained much success in discovering more flexible and diverse cell types. Current methods couple the operations and topology during search, and simply derive optimal topology by a hand-craft rule. However, topology also matters for neural architectures since it controls the interactions between features of operations. In this paper, we highlight the topology learning in differentiable NAS, and propose an explicit topology modeling method, named TopoNAS, to directly decouple the operation selection and topology during search. Concretely, we introduce a set of topological variables and a combinatorial probabilistic distribution to explicitly indicate the target topology. Besides, we also leverage a passive-aggressive regularization to suppress invalid topology within supernet. Our introduced topological variables can be jointly learned with operation variables and supernet weights, and apply to various DARTS variants. Extensive experiments on CIFAR-10 and ImageNet validate the effectiveness of our proposed TopoNAS. The results show that TopoNAS does enable to search cells with more diverse and complex topology, and boost the performance significantly. For example, TopoNAS can improve DARTS by 0.16% accuracy on CIFAR-10 dataset with 40% parameters reduced or 0.35% with similar parameters.