空間基底フィルター(SBF)を利用することにより、畳み込み層の効率的な代替案を提示します。 SBFレイヤーは、深さ全体にわたる畳み込みフィルターの空間的冗長性を活用して、高密度のカウンターパートのトップエンドの精度を維持しながら、モデル全体の圧縮を実現します。 SBF-Netのトレーニングは、単純なプルーニング問題としてモデル化されていますが、プルーニングされたチャネルをゼロにする代わりに、プルーニングされていない機能のセットからの安価な変換に置き換えられます。これらのSBFレイヤーの採用を可能にするために、柔軟なトレーニングパイプラインと、低レイテンシのCUDAでの効率的な実装を提供します。これらのモデルの有効容量をさらに実証するために、ベースラインネットワークよりも大幅なパフォーマンスの向上につながる半教師あり知識蒸留を適用します。私たちの実験は、SBF-Netが効果的であり、CIFAR10、CIFAR100、Tiny-ImageNet、およびILSCRC-2012全体で最先端のパフォーマンスと同等または改善されたパフォーマンスを達成することを示しています。
We present an efficient alternative to the convolutional layer through utilising spatial basis filters (SBF). SBF layers exploit the spatial redundancy in the convolutional filters across the depth to achieve overall model compression, while maintaining the top-end accuracy of their dense counter-parts. Training SBF-Nets is modelled as a simple pruning problem, but instead of zeroing out the pruned channels, they are replaced with inexpensive transformations from the set of non-pruned features. To enable an adoption of these SBF layers, we provide a flexible training pipeline and an efficient implementation in CUDA with low latency. To further demonstrate the effective capacity of these models, we apply semi-supervised knowledge distillation that leads to significant performance improvements over the baseline networks. Our experiments show that SBF-Nets are effective and achieve comparable or improved performance to state-of-the-art across CIFAR10, CIFAR100, Tiny-ImageNet, and ILSCRC-2012.