既存の視覚ベースの行動認識は、閉塞や外観の変化の影響を受けやすく、ウェアラブルセンサーは、1次元の時系列信号で人間の動きをキャプチャすることにより、これらの課題を軽減できます。同じ行動について、視覚センサーとウェアラブルセンサーから学んだ知識は関連していて補完的かもしれません。ただし、ウェアラブルセンサーとビジョンセンサーによってキャプチャされたアクションデータの間には、データディメンション、データ配信、および固有の情報コンテンツにおいて、非常に大きなモダリティの違いがあります。この論文では、複数のウェアラブルセンサーから知識を適応的に転送および抽出することにより、視覚センサーモダリティ(ビデオ)での行動認識を強化する、セマンティクス対応の適応知識蒸留ネットワーク(SAKDN)という名前の新しいフレームワークを提案します。 SAKDNは、教師のモダリティとして複数のウェアラブルセンサーを使用し、学生のモダリティとしてRGBビデオを使用します。局所的な時間的関係を維持し、視覚的な深層学習モデルの採用を容易にするために、グラミアン角度フィールドベースの仮想画像生成モデルを設計することにより、ウェアラブルセンサーの1次元時系列信号を2次元画像に変換します。次に、異なる教師ネットワークからの中間表現の知識を適応的に融合するために、新しい類似性を維持する適応型マルチモーダル融合モジュールを構築します。最後に、十分に訓練された複数の教師ネットワークの知識を十分に活用して学生ネットワークに伝達するために、グラフガイドアブレーション分析を利用して重要な領域を強調する優れた視覚的説明を生成する、新しいグラフガイドの意味識別マッピング損失を提案します。モダリティ間で、同時に元のデータの相互関係を維持します。 Berkeley-MHAD、UTD-MHAD、およびMMActデータセットの実験結果は、提案されたSAKDNの有効性をよく示しています。
Existing vision-based action recognition is susceptible to occlusion and appearance variations, while wearable sensors can alleviate these challenges by capturing human motion with one-dimensional time-series signal. For the same action, the knowledge learned from vision sensors and wearable sensors, may be related and complementary. However, there exists significantly large modality difference between action data captured by wearable-sensor and vision-sensor in data dimension, data distribution and inherent information content. In this paper, we propose a novel framework, named Semantics-aware Adaptive Knowledge Distillation Networks (SAKDN), to enhance action recognition in vision-sensor modality (videos) by adaptively transferring and distilling the knowledge from multiple wearable sensors. The SAKDN uses multiple wearable-sensors as teacher modalities and uses RGB videos as student modality. To preserve local temporal relationship and facilitate employing visual deep learning model, we transform one-dimensional time-series signals of wearable sensors to two-dimensional images by designing a gramian angular field based virtual image generation model. Then, we build a novel Similarity-Preserving Adaptive Multi-modal Fusion Module to adaptively fuse intermediate representation knowledge from different teacher networks. Finally, to fully exploit and transfer the knowledge of multiple well-trained teacher networks to the student network, we propose a novel Graph-guided Semantically Discriminative Mapping loss, which utilizes graph-guided ablation analysis to produce a good visual explanation highlighting the important regions across modalities and concurrently preserving the interrelations of original data. Experimental results on Berkeley-MHAD, UTD-MHAD and MMAct datasets well demonstrate the effectiveness of our proposed SAKDN.