arXiv reaDer
Spiking-Fer: イベント カメラによる表情認識のためのスパイキング ニューラル ネットワーク
Spiking-Fer: Spiking Neural Network for Facial Expression Recognition With Event Cameras
表情認識 (FER) は、特に大規模なディープ ラーニング モデルの使用のおかげで、最近大きな進歩を遂げている活発な研究領域です。ただし、このようなアプローチは特にエネルギーを大量に消費するため、エッジ デバイスへの展開が困難になります。この問題に対処するために、イベント カメラと組み合わせたスパイキング ニューラル ネットワーク (SNN) は有望な代替手段であり、少ないエネルギー消費でまばらな非同期イベントを処理できます。この論文では、「イベントベースFER」と名付けられたFER用のイベントカメラの最初の使用法を確立し、一般的なビデオFERデータセットをイベントストリームに変換することにより、最初の関連ベンチマークを提案します。この新しいタスクに対処するために、深い畳み込み SNN モデルである「Spiking-FER」を提案し、同様の人工ニューラル ネットワーク (ANN) と比較します。実験では、提案されたアプローチが ANN アーキテクチャに匹敵するパフォーマンスを達成する一方で、消費エネルギーが桁違いに少ない (最大 65.39x) ことが示されています。さらに、さまざまなイベントベースのデータ拡張技術の実験的研究が行われ、イベントベースの FER に固有の効率的な変換に関する洞察が提供されます。
Facial Expression Recognition (FER) is an active research domain that has shown great progress recently, notably thanks to the use of large deep learning models. However, such approaches are particularly energy intensive, which makes their deployment difficult for edge devices. To address this issue, Spiking Neural Networks (SNNs) coupled with event cameras are a promising alternative, capable of processing sparse and asynchronous events with lower energy consumption. In this paper, we establish the first use of event cameras for FER, named "Event-based FER", and propose the first related benchmarks by converting popular video FER datasets to event streams. To deal with this new task, we propose "Spiking-FER", a deep convolutional SNN model, and compare it against a similar Artificial Neural Network (ANN). Experiments show that the proposed approach achieves comparable performance to the ANN architecture, while consuming less energy by orders of magnitude (up to 65.39x). In addition, an experimental study of various event-based data augmentation techniques is performed to provide insights into the efficient transformations specific to event-based FER.
updated: Thu Apr 20 2023 10:59:56 GMT+0000 (UTC)
published: Thu Apr 20 2023 10:59:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト