このホワイトペーパーでは、元のトレーニングデータを使用せずに、事前にトレーニングされたモデルのみを指定して、ニューラルアーキテクチャ検索(NAS)の実現可能性を調査することを目的としています。これは、実際のシナリオでのプライバシー保護、バイアス回避などにとって重要な状況です。これを実現するために、事前にトレーニングされたディープニューラルネットワークから知識を回復することにより、使用可能なデータを合成することから始めます。次に、合成されたデータとそれらの予測されたソフトラベルを使用して、ニューラルアーキテクチャの検索をガイドします。 NASタスクには、十分なセマンティクス、多様性、および自然画像からの最小限のドメインギャップを備えた合成データ(ここでは画像ドメインを対象としています)が必要であることがわかります。セマンティクスについては、より有益な出力を生成するために再帰的なラベルキャリブレーションを提案します。多様性については、より多様で意味的に強化された合成データを生成するための地域更新戦略を提案します。ドメインギャップを最小限に抑えるために、入力と機能レベルの正則化を使用して、潜在空間での元のデータ分布を模倣します。提案されたフレームワークを、DARTS、ProxylessNAS、SPOSの3つの一般的なNASアルゴリズムでインスタンス化します。驚いたことに、私たちの結果は、合成データで検索して発見されたアーキテクチャが、元のアーキテクチャから検索して発見されたアーキテクチャと同等またはそれ以上の精度を初めて達成し、NASを効果的に実行できるという結論を導き出したことを示しています。合成方法が適切に設計されている場合は、元のデータまたは呼び出された自然データにアクセスする必要はありません。私たちのコードは公開されます。
This paper aims to explore the feasibility of neural architecture search (NAS) given only a pre-trained model without using any original training data. This is an important circumstance for privacy protection, bias avoidance, etc., in real-world scenarios. To achieve this, we start by synthesizing usable data through recovering the knowledge from a pre-trained deep neural network. Then we use the synthesized data and their predicted soft-labels to guide neural architecture search. We identify that the NAS task requires the synthesized data (we target at image domain here) with enough semantics, diversity, and a minimal domain gap from the natural images. For semantics, we propose recursive label calibration to produce more informative outputs. For diversity, we propose a regional update strategy to generate more diverse and semantically-enriched synthetic data. For minimal domain gap, we use input and feature-level regularization to mimic the original data distribution in latent space. We instantiate our proposed framework with three popular NAS algorithms: DARTS, ProxylessNAS and SPOS. Surprisingly, our results demonstrate that the architectures discovered by searching with our synthetic data achieve accuracy that is comparable to, or even higher than, architectures discovered by searching from the original ones, for the first time, deriving the conclusion that NAS can be done effectively with no need of access to the original or called natural data if the synthesis method is well designed. Our code will be publicly available.