スパイキング ニューラル ネットワーク (SNN) には豊富な時空間ダイナミクスがあり、ニューロモルフィックなイベントベースのデータの処理に適しています。ただし、通常、イベントベースのデータセットは、従来の深層学習で使用される静的データセットよりもアノテーションが少なくなります。データ スケールが小さいと、SNN が過剰適合しやすくなり、SNN のパフォーマンスが制限されます。イベントベースのデータセットでの SNN の一般化可能性を高めるために、静的画像を活用してニューロモーフィック データセットのトレーニングを支援する知識転送フレームワークを提案します。私たちの方法は、これら2つのドメインのドメイン不変と独自の機能の両方を活用するためにドメイン損失とセマンティック損失を提案し、SNNに、その後のニューロモルフィック データの対象を絞ったトレーニングのためのより一般化された知識を提供します。具体的には、ドメイン損失は特徴空間を調整し、静的画像とイベントベースの画像の間で共通の特徴を捉えることを目的としていますが、セマンティック損失は、異なるカテゴリのサンプル間の違いをできるだけ大きくする必要があることを強調しています。実験結果は、私たちの方法がすべての主流のニューロモルフィック ビジョン データセットで既存の方法よりも優れていることを示しています。特に、CIFAR10-DVS と N-Caltech 101 データセットの 10% のトレーニング データのみを使用した場合、それぞれ 2.7% と 9.8% の大幅なパフォーマンス向上を達成しています。
Spiking neural networks (SNNs) have rich spatial-temporal dynamics, which are suitable for processing neuromorphic, event-based data. However, event-based datasets are usually less annotated than static datasets used in traditional deep learning. Small data scale makes SNNs prone to overfitting and limits the performance of the SNN. To enhance the generalizability of SNNs on event-based datasets, we propose a knowledge-transfer framework that leverages static images to assist in the training on neuromorphic datasets. Our method proposes domain loss and semantic loss to exploit both domain-invariant and unique features of these two domains, providing SNNs with more generalized knowledge for subsequent targeted training on neuromorphic data. Specifically, domain loss aligns the feature space and aims to capture common features between static and event-based images, while semantic loss emphasizes that the differences between samples from different categories should be as large as possible. Experimental results demonstrate that our method outperforms existing methods on all mainstream neuromorphic vision datasets. In particular, we achieve significant performance improvement of 2.7% and 9.8% when using only 10% training data of CIFAR10-DVS and N-Caltech 101 datasets, respectively.