arXiv reaDer
Butterfly Transform: An Efficient FFT Based Neural Architecture Design
 このペーパーでは、FFTアルゴリズムから一般的なバタフライ変換(BFT)へのバタフライ演算の拡張が、CNN設計の効率的なブロック構造の構築に役立つことを示します。チャネルフュージョンと呼ばれるポイントワイズコンボリューションは、最先端の効率的なCNN(MobileNetsなど)の主要な計算上のボトルネックです。チャネルフュージョンの一連の基準を紹介し、BFTがこれらの基準に関して漸近的に最適なFLOPカウントを生成することを証明します。点ごとの畳み込みをBFTに置き換えることにより、これらのレイヤーの計算の複雑さを、チャネル数に関してO(n ^ 2)からO(nlogn)に減らします。私たちの実験的評価は、私たちの方法が、特に低いFLOP範囲で、幅広いネットワークアーキテクチャにわたって大幅な精度向上をもたらすことを示しています。たとえば、BFTを使用すると、同じ数のFLOPSで、MobileNetV1の絶対的なTop-1が最大6.75%向上し、ShuffleNet V2が4.4%、ImageNetのMobileNetV3が5.4%向上します。特に、ShuffleNet-V2 + BFTは、低FLOPレジームでの最先端のアーキテクチャー検索メソッドMNasNet、FBNet、およびMobilenetV3よりも優れています。
In this paper, we show that extending the butterfly operations from the FFT algorithm to a general Butterfly Transform (BFT) can be beneficial in building an efficient block structure for CNN designs. Pointwise convolutions, which we refer to as channel fusions, are the main computational bottleneck in the state-of-the-art efficient CNNs (e.g. MobileNets ). We introduce a set of criteria for channel fusion and prove that BFT yields an asymptotically optimal FLOP count with respect to these criteria. By replacing pointwise convolutions with BFT, we reduce the computational complexity of these layers from O(n^2) to O(nlogn) with respect to the number of channels. Our experimental evaluations show that our method results in significant accuracy gains across a wide range of network architectures, especially at low FLOP ranges. For example, BFT results in up to a 6.75% absolute Top-1 improvement for MobileNetV1, 4.4 % for ShuffleNet V2 and 5.4% for MobileNetV3 on ImageNet under a similar number of FLOPS. Notably, ShuffleNet-V2+BFT outperforms state-of-the-art architecture search methods MNasNet, FBNet and MobilenetV3 in the low FLOP regime.
updated: Thu Apr 16 2020 23:28:09 GMT+0000 (UTC)
published: Wed Jun 05 2019 19:04:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト