スパイキング ニューラル ネットワーク (SNN) は、バイナリおよびイベント駆動型のアーキテクチャにより、エネルギー効率の高いニューロモーフィック チップとして多大な可能性を秘めています。 SNN は主に分類タスクで使用されてきましたが、画像生成タスクでの探索は限定的でした。このギャップを埋めるために、ベクトル量子化された離散拡散モデルに基づくスパイキング拡散モデルを提案します。まず、画像の離散潜在空間を学習するために、SNN を使用したベクトル量子化変分オートエンコーダー (VQ-SVAE) を開発します。 VQ-SVAE では、画像特徴はスパイク発火率とシナプス後電位の両方を使用してエンコードされ、適応スパイク ジェネレーターは埋め込み特徴をスパイク列の形式で復元するように設計されています。次に、離散潜在空間で吸収状態拡散を実行し、画像のノイズを除去するために SNN を使用して拡散画像デコーダを構築します。私たちの研究は、完全に SNN 層から拡散モデルを構築する初めての試みです。 MNIST、FMNIST、KMNIST、および Letters に関する実験結果は、スパイキング拡散が既存の SNN ベースの生成モデルよりも優れていることを示しています。上記のデータセットではそれぞれ 37.50、91.98、59.23、および 67.41 の FID を達成し、最先端の研究と比較して FID は 58.60%、18.75%、64.51%、および 29.75% 削減されました。
Spiking neural networks (SNNs) have tremendous potential for energy-efficient neuromorphic chips due to their binary and event-driven architecture. SNNs have been primarily used in classification tasks, but limited exploration on image generation tasks. To fill the gap, we propose a Spiking-Diffusion model, which is based on the vector quantized discrete diffusion model. First, we develop a vector quantized variational autoencoder with SNNs (VQ-SVAE) to learn a discrete latent space for images. With VQ-SVAE, image features are encoded using both the spike firing rate and postsynaptic potential, and an adaptive spike generator is designed to restore embedding features in the form of spike trains. Next, we perform absorbing state diffusion in the discrete latent space and construct a diffusion image decoder with SNNs to denoise the image. Our work is the first to build the diffusion model entirely from SNN layers. Experimental results on MNIST, FMNIST, KMNIST, and Letters demonstrate that Spiking-Diffusion outperforms the existing SNN-based generation model. We achieve FIDs of 37.50, 91.98, 59.23 and 67.41 on the above datasets respectively, with reductions of 58.60%, 18.75%, 64.51%, and 29.75% in FIDs compared with the state-of-art work.