カプセルネットワークは、視覚認識タスクのためにディープニューラルネットワークの特徴間の位置関係を定義する優れた能力を示しますが、計算コストが高く、モバイルデバイスでの実行には適していません。ボトルネックは、カプセル間で使用される動的ルーティングメカニズムの計算の複雑さにあります。一方、XNOR-Netなどのニューラルネットワークは高速で計算効率が高いですが、2値化プロセスで情報が失われるため、精度が比較的低くなります。このホワイトペーパーでは、CapsFCレイヤー内のダイナミックルーティングの外側または内側でリニアプロジェクターをxnoringすることにより、新しいクラスの完全接続(FC)レイヤーを提案します。具体的には、提案されているFCレイヤーには、XnODR(Xnorizing Linear Projector Outside Dynamic Routing)とXnIDR(Xnorizing Linear Projector Inside Dynamic Routing)の2つのバージョンがあります。それらの一般化をテストするために、MobileNetV2とResNet-50に別々に挿入します。 MNIST、CIFAR-10、MultiMNISTの3つのデータセットでの実験により、それらの有効性が検証されます。私たちの実験結果は、XnODRとXnIDRの両方が、ネットワークがより低いFLOPとより少ないパラメーターで高精度になるのに役立つことを示しています(たとえば、CIFAR-10で299万のパラメーターと311.22MのFLOPで95.32%の精度)。
Although Capsule Networks show great abilities in defining the position relationship between features in deep neural networks for visual recognition tasks, they are computationally expensive and not suitable for running on mobile devices. The bottleneck is in the computational complexity of the Dynamic Routing mechanism used between capsules. On the other hand, neural networks such as XNOR-Net are fast and computationally efficient but have relatively low accuracy because of their information loss in the binarization process. This paper proposes a new class of Fully Connected (FC) Layers by xnorizing the linear projector outside or inside the Dynamic Routing within the CapsFC layer. Specifically, our proposed FC layers have two versions, XnODR (Xnorizing Linear Projector Outside Dynamic Routing) and XnIDR (Xnorizing Linear Projector Inside Dynamic Routing). To test their generalization, we insert them into MobileNet V2 and ResNet-50 separately. Experiments on three datasets, MNIST, CIFAR-10, MultiMNIST validate their effectiveness. Our experimental results demonstrate that both XnODR and XnIDR help networks to have high accuracy with lower FLOPs and fewer parameters (e.g., 95.32% accuracy with 2.99M parameters and 311.22M FLOPs on CIFAR-10).