Neural Architecture Search(NAS)は、堅牢なニューラルアーキテクチャを設計する上でのゲームチェンジャーです。 NASによって設計されたアーキテクチャは、精度、サイズ、メモリフットプリント、およびFLOPの点で、最高の手動ネットワーク設計よりも優れているか、競合しています。とは言うものの、以前の研究は、クリーンで高品質のデータのためのNASアルゴリズムの開発に焦点を合わせており、制限的でやや非現実的な仮定です。このホワイトペーパーでは、微分可能なNASアルゴリズムに焦点を当て、クラスラベルにノイズが多い場合、バニラNASアルゴリズムのパフォーマンスが低下することを示します。この問題に対処するために、正則化として情報ボトルネックの原則を利用します。これにより、学習プロセス中に含まれるノイズ注入操作を開発し、ネットワークがノイズの多いサンプルから学習するのを防ぎます。私たちの経験的評価は、データが実際にクリーンである場合、ノイズ注入操作がNASアルゴリズムのパフォーマンスを低下させないことを示しています。対照的に、データにノイズが多い場合、私たちのアルゴリズムによって学習されたアーキテクチャは、ラベルノイズの存在下で学習するための高度なメカニズムを特に備えたアルゴリズムよりも快適に優れています。ノイズの多いラベルの存在下で機能するように設計された多くのアルゴリズムとは対照的に、ノイズの特性とその特性に関する事前の知識は、私たちのアルゴリズムには必要ありません。
Neural Architecture Search (NAS) is the game changer in designing robust neural architectures. Architectures designed by NAS outperform or compete with the best manual network designs in terms of accuracy, size, memory footprint and FLOPs. That said, previous studies focus on developing NAS algorithms for clean high quality data, a restrictive and somewhat unrealistic assumption. In this paper, focusing on the differentiable NAS algorithms, we show that vanilla NAS algorithms suffer from a performance loss if class labels are noisy. To combat this issue, we make use of the principle of information bottleneck as a regularizer. This leads us to develop a noise injecting operation that is included during the learning process, preventing the network from learning from noisy samples. Our empirical evaluations show that the noise injecting operation does not degrade the performance of the NAS algorithm if the data is indeed clean. In contrast, if the data is noisy, the architecture learned by our algorithm comfortably outperforms algorithms specifically equipped with sophisticated mechanisms to learn in the presence of label noise. In contrast to many algorithms designed to work in the presence of noisy labels, prior knowledge about the properties of the noise and its characteristics are not required for our algorithm.