ニューラルアーキテクチャ検索(NAS)では、その効率の高さから、微分可能アーキテクチャ検索(DARTS)が最近注目を集めています。これは、それぞれがすべてのオペレーター候補を表す混合エッジを持つ過剰パラメーター化されたネットワークを定義し、ネットワークとそのアーキテクチャーの重みを交互に最適化します。ただし、この方法では、重みが他のモデルよりも速く収束するモデルが検出され、収束が最も速いモデルは、多くの場合、過剰適合につながります。したがって、結果として得られるモデルは、常に十分に一般化できるとは限りません。この問題を克服するために、アーキテクチャの最適化を最小安定ランク基準を使用した選択プロセスに置き換えることにより、最良の汎化誤差を持つモデルを見つけるための最小安定ランクDARTS(MSR-DARTS)と呼ばれる方法を提案します。具体的には、畳み込み演算子は行列で表され、MSR-DARTSは安定ランクが最も小さいものを選択します。 CIFAR-10およびImageNetデータセットでMSR-DARTSを評価しました。 CIFAR-10では0.3GPU日以内に4.0Mパラメーターで2.54%のエラー率を達成し、ImageNetでは23.9%のトップ1エラー率を達成します。公式コードはhttps://github.com/mtaecchhi/msrdarts.gitで入手できます。
In neural architecture search (NAS), differentiable architecture search (DARTS) has recently attracted much attention due to its high efficiency. It defines an over-parameterized network with mixed edges, each of which represents all operator candidates, and jointly optimizes the weights of the network and its architecture in an alternating manner. However, this method finds a model with the weights converging faster than the others, and such a model with fastest convergence often leads to overfitting. Accordingly, the resulting model cannot always be well-generalized. To overcome this problem, we propose a method called minimum stable rank DARTS (MSR-DARTS), for finding a model with the best generalization error by replacing architecture optimization with the selection process using the minimum stable rank criterion. Specifically, a convolution operator is represented by a matrix, and MSR-DARTS selects the one with the smallest stable rank. We evaluated MSR-DARTS on CIFAR-10 and ImageNet datasets. It achieves an error rate of 2.54% with 4.0M parameters within 0.3 GPU-days on CIFAR-10, and a top-1 error rate of 23.9% on ImageNet. The official code is available at https://github.com/mtaecchhi/msrdarts.git.