畳み込みニューラルネットワーク(ConvNet)のユニバーサルビルディングブロックを提案して、推論時間のコストをかけずにパフォーマンスを向上させます。このブロックは、Diverse Branch Block(DBB)と呼ばれ、さまざまなスケールと複雑さの多様なブランチを組み合わせて、畳み込みのシーケンス、マルチスケール畳み込み、平均プーリングなどの特徴空間を充実させることにより、単一の畳み込みの表現能力を強化します。トレーニング後、DBBは、展開のために単一のconvレイヤーに同等に変換できます。新しいConvNetアーキテクチャの進歩とは異なり、DBBは、マクロアーキテクチャを維持しながらトレーニング時の微細構造を複雑にするため、任意のアーキテクチャの通常のconvレイヤーのドロップイン代替として使用できます。このようにして、モデルをトレーニングしてより高いレベルのパフォーマンスに到達し、推論のために元の推論時間構造に変換することができます。 DBBは、画像分類(ImageNetでトップ1の精度が最大1.9%高い)、オブジェクト検出、およびセマンティックセグメンテーションでConvNetを改善します。 PyTorchのコードとモデルはhttps://github.com/DingXiaoH/DiverseBranchBlockでリリースされています。
We propose a universal building block of Convolutional Neural Network (ConvNet) to improve the performance without any inference-time costs. The block is named Diverse Branch Block (DBB), which enhances the representational capacity of a single convolution by combining diverse branches of different scales and complexities to enrich the feature space, including sequences of convolutions, multi-scale convolutions, and average pooling. After training, a DBB can be equivalently converted into a single conv layer for deployment. Unlike the advancements of novel ConvNet architectures, DBB complicates the training-time microstructure while maintaining the macro architecture, so that it can be used as a drop-in replacement for regular conv layers of any architecture. In this way, the model can be trained to reach a higher level of performance and then transformed into the original inference-time structure for inference. DBB improves ConvNets on image classification (up to 1.9% higher top-1 accuracy on ImageNet), object detection and semantic segmentation. The PyTorch code and models are released at https://github.com/DingXiaoH/DiverseBranchBlock.