微分可能アーキテクチャ検索 (DARTS) は、一般的なアーキテクチャ検索アプローチではありますが、スーパーネット全体がメモリ内に存在するため、かなりのメモリ コストによって大きく妨げられます。ここで、各ステップで単一パスのサブモデルのみを選択するシングルパス DARTS が登場します。メモリに優しいと同時に、計算コストも低くなります。それにもかかわらず、私たちはこれまで気づかれていなかったシングルパス DARTS の重大な問題を発見しました。つまり、DARTS と同様に、スキップ接続のようなパラメーターを使用しない操作が多すぎるため、深刻なパフォーマンスの低下にも悩まされます。この論文では、これを解決するために RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案します。まず、トポロジ検索と操作検索を切り離して、検索と評価を一貫させます。次に、Gumbel-Top2 再パラメータ化と勾配累積を採用して、扱いにくい 2 レベルの最適化を強化します。私たちは ROME を 15 のベンチマークにわたって広範囲に検証し、その有効性と堅牢性を実証します。
Albeit being a prevalent architecture searching approach, differentiable architecture search (DARTS) is largely hindered by its substantial memory cost since the entire supernet resides in the memory. This is where the single-path DARTS comes in, which only chooses a single-path submodel at each step. While being memory-friendly, it also comes with low computational costs. Nonetheless, we discover a critical issue of single-path DARTS that has not been primarily noticed. Namely, it also suffers from severe performance collapse since too many parameter-free operations like skip connections are derived, just like DARTS does. In this paper, we propose a new algorithm called RObustifying Memory-Efficient NAS (ROME) to give a cure. First, we disentangle the topology search from the operation search to make searching and evaluation consistent. We then adopt Gumbel-Top2 reparameterization and gradient accumulation to robustify the unwieldy bi-level optimization. We verify ROME extensively across 15 benchmarks to demonstrate its effectiveness and robustness.