DartsReNet: ReNet アーキテクチャにおける新しい RNN セルの探索
DartsReNet: Exploring new RNN cells in ReNet architectures
DARTS と呼ばれるニューラル アーキテクチャ検索 (NAS) アプローチを使用した画像分類用の新しいリカレント ニューラル ネットワーク (RNN) セルを提示します。畳み込みとプーリングのステップの代替として提示された RNN ベースのアプローチである ReNet アーキテクチャに興味があります。 ReNet は、LSTM や GRU などの標準 RNN セルを使用して定義できます。 1 つの制限は、標準の RNN セルが 1 次元の連続データ用に設計されており、画像分類の場合のように 2 次元用ではないことです。 DARTS を使用して新しいセル デザインを見つけることにより、この制限を克服します。結果を、GRU セルと LSTM セルを使用する ReNet と比較します。私たちが発見した細胞は、CIFAR-10 および SVHN で標準の RNN 細胞よりも優れています。 SVHNの新しいセル検索を実行せずにCIFAR-10からRNNセル設計を導き出したため、SVHNの改善は一般化可能性を示しています。
We present new Recurrent Neural Network (RNN) cells for image classification using a Neural Architecture Search (NAS) approach called DARTS. We are interested in the ReNet architecture, which is a RNN based approach presented as an alternative for convolutional and pooling steps. ReNet can be defined using any standard RNN cells, such as LSTM and GRU. One limitation is that standard RNN cells were designed for one dimensional sequential data and not for two dimensions like it is the case for image classification. We overcome this limitation by using DARTS to find new cell designs. We compare our results with ReNet that uses GRU and LSTM cells. Our found cells outperform the standard RNN cells on CIFAR-10 and SVHN. The improvements on SVHN indicate generalizability, as we derived the RNN cell designs from CIFAR-10 without performing a new cell search for SVHN.
updated: Tue Apr 11 2023 09:42:10 GMT+0000 (UTC)
published: Tue Apr 11 2023 09:42:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト