arXiv reaDer
STDPを使用したイベントデータの教師なしスパイクインスタンスセグメンテーション
Unsupervised Spiking Instance Segmentation on Event Data using STDP
スパイキングニューラルネットワーク(SNN)とニューロモルフィックエンジニアリングの分野は、機械学習(ML)とコンピュータービジョン(CV)の問題へのアプローチ方法にパラダイムシフトをもたらしました。このパラダイムシフトは、イベントベースのセンシングと処理の適応に由来します。イベントベースのビジョンセンサーを使用すると、シーンに動的に関連するスパースイベントと非同期イベントを生成できます。空間情報だけでなく、時間情報の忠実度を高めることができます。一方、従来の高フレームレートアプローチの余分なオーバーヘッドと冗長性を回避します。ただし、このパラダイムの変更により、従来のCVおよびMLの多くの手法は、これらのイベントベースの時空間ビジュアルストリームには適用できません。そのため、認識、検出、およびセグメンテーションのアプローチの数は限られています。この論文では、オブジェクト認識のために訓練されたスパイク時間依存可塑性訓練されたスパイク畳み込みニューラルネットワークの重みだけを使用してインスタンスセグメンテーションを実行できる新しいアプローチを提示します。これは、ネットワークの内部機能表現の空間的および時間的側面を活用して、この新しい識別機能を追加します。顔検出用の単一クラスの教師なしネットワークを複数人の顔認識およびインスタンスセグメンテーションネットワークに正常に変換することにより、新しい機能を強調します。
Spiking Neural Networks (SNN) and the field of Neuromorphic Engineering has brought about a paradigm shift in how to approach Machine Learning (ML) and Computer Vision (CV) problem. This paradigm shift comes from the adaption of event-based sensing and processing. An event-based vision sensor allows for sparse and asynchronous events to be produced that are dynamically related to the scene. Allowing not only the spatial information but a high-fidelity of temporal information to be captured. Meanwhile avoiding the extra overhead and redundancy of conventional high frame rate approaches. However, with this change in paradigm, many techniques from traditional CV and ML are not applicable to these event-based spatial-temporal visual streams. As such a limited number of recognition, detection and segmentation approaches exist. In this paper, we present a novel approach that can perform instance segmentation using just the weights of a Spike Time Dependent Plasticity trained Spiking Convolutional Neural Network that was trained for object recognition. This exploits the spatial and temporal aspects of the network's internal feature representations adding this new discriminative capability. We highlight the new capability by successfully transforming a single class unsupervised network for face detection into a multi-person face recognition and instance segmentation network.
updated: Tue Nov 09 2021 17:26:17 GMT+0000 (UTC)
published: Tue Nov 09 2021 17:26:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト