標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して、パラメーター数の2次関数的成長に取り組むマルチグリッドインチャネル(MGIC)アプローチを紹介します。軽い畳み込み演算子または疎な畳み込み演算子を使用するネットワークでは、完全なネットワークと同様のパフォーマンスが得られるため、標準のCNNには冗長性があることが示されています。ただし、前者のネットワークのパラメーターの数も幅が2乗でスケーリングしますが、後者の場合、パラメーターは通常ランダムなスパースパターンを持ち、ハードウェアの効率を妨げます。CNNアーキテクチャを構築するためのアプローチは、ネットワークの幅に対して線形にスケーリングします。標準のCNNと同様に、チャネルの完全な結合。この目的のために、軽量畳み込みの階層を利用して、各畳み込みブロックをそのMGICブロックに置き換えます。画像分類、セグメンテーション、および点群分類に関する広範な実験では、この戦略をResNetやMobileNetV3などのさまざまなアーキテクチャに適用すると、パラメータの数が大幅に削減され、同等以上の精度が得られることが示されています。たとえば、MobileNetV3と同様のパラメータとFLOPを備えた軽量ネットワークを使用して、ImageNetで76.1%のトップ1精度を取得します。
We present a multigrid-in-channels (MGIC) approach that tackles the quadratic growth of the number of parameters with respect to the number of channels in standard convolutional neural networks (CNNs). It has been shown that there is a redundancy in standard CNNs, as networks with light or sparse convolution operators yield similar performance to full networks. However, the number of parameters in the former networks also scales quadratically in width, while in the latter case, the parameters typically have random sparsity patterns, hampering hardware efficiency.Our approach for building CNN architectures scales linearly with respect to the network's width while retaining full coupling of the channels as in standard CNNs.To this end, we replace each convolution block with its MGIC block utilizing a hierarchy of lightweight convolutions. Our extensive experiments on image classification, segmentation, and point cloud classification show that applying this strategy to different architectures like ResNet and MobileNetV3 considerably reduces the number of parameters while obtaining similar or better accuracy. For example, we obtain 76.1% top-1 accuracy on ImageNet with a lightweight network with similar parameters and FLOPs to MobileNetV3.