ディープニューラルネットワークとコンピュータービジョンベースのヒューマンアクティビティ認識の進歩に伴い、ポイントクラウドデータテクノロジー(LiDAR、mmWave)の採用は、プライバシーを保護する性質のために多くの関心を集めています。正確なPCDテクノロジーの可能性が高いことから、効率的な信号処理と新しい機械学習技術を使用して、適応型の複数住民追跡およびHARシステムの開発に向けて個人を追跡することにより、複数住民活動認識システムであるPALMARを開発します。より具体的には、(i)ボクセル化された特徴表現ベースのリアルタイムPCD微調整方法、(ii)効率的なクラスタリング(DBSCANおよびBIRCH)、適応順序隠れマルコフモデルベースの複数人追跡およびクロスオーバーあいまいさ低減手法を提案します。 (iii)データの不足と多様性(デバイス、場所、人口の多様性)が存在する場合にHARの精度を向上させるための新しい適応型深層学習ベースのドメイン適応手法。 (i)6人の参加者から3つのデバイス(3DLiDARおよび79GHz mmWave)によって収集されたリアルタイムPCD、(ii)1つの公開されている3D LiDARアクティビティデータ(28人の参加者)、および(iii)を使用して、フレームワークとシステムを実験的に評価します。エッジコンピューティングデバイスの大幅なシステムパフォーマンスを失うことなく、最先端のフレームワークよりも63%改善された、複数住民(96%)シナリオで有望なHARパフォーマンスを提供する組み込みハードウェアプロトタイプシステム。
With the advancement of deep neural networks and computer vision-based Human Activity Recognition, employment of Point-Cloud Data technologies (LiDAR, mmWave) has seen a lot interests due to its privacy preserving nature. Given the high promise of accurate PCD technologies, we develop, PALMAR, a multiple-inhabitant activity recognition system by employing efficient signal processing and novel machine learning techniques to track individual person towards developing an adaptive multi-inhabitant tracking and HAR system. More specifically, we propose (i) a voxelized feature representation-based real-time PCD fine-tuning method, (ii) efficient clustering (DBSCAN and BIRCH), Adaptive Order Hidden Markov Model based multi-person tracking and crossover ambiguity reduction techniques and (iii) novel adaptive deep learning-based domain adaptation technique to improve the accuracy of HAR in presence of data scarcity and diversity (device, location and population diversity). We experimentally evaluate our framework and systems using (i) a real-time PCD collected by three devices (3D LiDAR and 79 GHz mmWave) from 6 participants, (ii) one publicly available 3D LiDAR activity data (28 participants) and (iii) an embedded hardware prototype system which provided promising HAR performances in multi-inhabitants (96%) scenario with a 63% improvement of multi-person tracking than state-of-art framework without losing significant system performances in the edge computing device.