arXiv reaDer
Tesla-Rapture:ミリ波レーダーポイントクラウドからの軽量ジェスチャ認識システム
Tesla-Rapture: A Lightweight Gesture Recognition System from mmWave Radar Point Clouds
ミリ波レーダーによって生成された点群のジェスチャ認識インターフェイスであるTesla-Raptureを紹介します。最先端のジェスチャ認識モデルは、リソースを消費しすぎるか、IoTデバイス(Raspberry PIなど)、XRハードウェア(HoloLensなど)、スマートフォンなどのウェアラブルまたは制約のある機器を使用して実際のシナリオに統合するには十分に正確ではありません。この問題に取り組むために、ミリ波レーダー点群用のメッセージパッシングニューラルネットワーク(MPNN)グラフ畳み込みアプローチであるTeslaを開発しました。このモデルは、計算の複雑さ、したがって実行時間を削減しながら、精度の点で2つのデータセットの最新技術を上回っています。特に、このアプローチでは、最も正確な競合他社よりもほぼ8倍速くジェスチャを予測できます。さまざまなシナリオ(環境、角度、距離)でのパフォーマンス評価では、テスラは一般化が進んでおり、壁越しの設定や極端な角度での検知などの困難なシナリオで精度が最大20%向上することが示されています。 Teslaを利用して、Raspberry PI 4でmmWaveレーダーを使用したリアルタイム実装であるTesla-Raptureを開発し、その精度と時間計算量を評価します。また、ソースコード、トレーニング済みモデル、および組み込みデバイス用のモデルの実装も公開しています。
We present Tesla-Rapture, a gesture recognition interface for point clouds generated by mmWave Radars. State of the art gesture recognition models are either too resource consuming or not sufficiently accurate for integration into real-life scenarios using wearable or constrained equipment such as IoT devices (e.g. Raspberry PI), XR hardware (e.g. HoloLens), or smart-phones. To tackle this issue, we developed Tesla, a Message Passing Neural Network (MPNN) graph convolution approach for mmWave radar point clouds. The model outperforms the state of the art on two datasets in terms of accuracy while reducing the computational complexity and, hence, the execution time. In particular, the approach, is able to predict a gesture almost 8 times faster than the most accurate competitor. Our performance evaluation in different scenarios (environments, angles, distances) shows that Tesla generalizes well and improves the accuracy up to 20% in challenging scenarios like a through-wall setting and sensing at extreme angles. Utilizing Tesla, we develop Tesla-Rapture, a real-time implementation using a mmWave Radar on a Raspberry PI 4 and evaluate its accuracy and time-complexity. We also publish the source code, the trained models, and the implementation of the model for embedded devices.
updated: Tue Sep 14 2021 05:25:17 GMT+0000 (UTC)
published: Tue Sep 14 2021 05:25:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト