限られた計算コスト内で効率的なモデルを設計することは困難です。軽量モデルの精度は、設計規則によってさらに制限されていると主張します。これは、ネットワークステージの区分的線形関数のように見える、チャネル次元のステージごとの構成です。このホワイトペーパーでは、従来よりも優れたパフォーマンスを実現するための効果的なチャネルディメンション構成について説明します。この目的のために、出力フィーチャのランクを分析することにより、単一レイヤーを適切に設計する方法を経験的に研究します。次に、計算コストの制限の下でチャネル構成に関するネットワークアーキテクチャを検索することにより、モデルのチャネル構成を調査します。調査に基づいて、レイヤーインデックスによってパラメーター化できるシンプルで効果的なチャネル構成を提案します。その結果、チャネルパラメータ化に続く提案されたモデルは、COCOオブジェクト検出、COCOインスタンスセグメンテーション、およびきめ細かい分類を含むImageNet分類および転送学習タスクで優れたパフォーマンスを実現します。 CodeおよびImageNetの事前トレーニング済みモデルは、https://github.com/clovaai/rexnetで入手できます。
Designing an efficient model within the limited computational cost is challenging. We argue the accuracy of a lightweight model has been further limited by the design convention: a stage-wise configuration of the channel dimensions, which looks like a piecewise linear function of the network stage. In this paper, we study an effective channel dimension configuration towards better performance than the convention. To this end, we empirically study how to design a single layer properly by analyzing the rank of the output feature. We then investigate the channel configuration of a model by searching network architectures concerning the channel configuration under the computational cost restriction. Based on the investigation, we propose a simple yet effective channel configuration that can be parameterized by the layer index. As a result, our proposed model following the channel parameterization achieves remarkable performance on ImageNet classification and transfer learning tasks including COCO object detection, COCO instance segmentation, and fine-grained classifications. Code and ImageNet pretrained models are available at https://github.com/clovaai/rexnet.