特権情報(LUPI)を使用した学習を活用する、Ambient Assisted Living(AAL)のマルチモーダルセンサーフュージョンへの新しいアプローチを提案します。標準的なマルチモーダルアプローチの2つの主要な欠点、限られたエリアカバレッジと信頼性の低下に対処します。私たちの新しいフレームワークは、モダリティ幻覚の概念とトリプレット学習を融合して、推論時に欠落しているセンサーを処理するために、さまざまなモダリティでモデルをトレーニングします。特権モダリティとしてRGBビデオとスケルトンを使用して、ウェアラブル加速度計デバイスからの慣性データで提案されたモデルを評価し、UTD-MHADデータセットで平均6.6%、Berkeley MHADデータセットで平均5.5%の精度の向上を示します、これらのデータセットの慣性のみの分類精度の新しい最先端に到達します。いくつかのアブレーション研究を通じてフレームワークを検証します。
We propose a novel approach to multimodal sensor fusion for Ambient Assisted Living (AAL) which takes advantage of learning using privileged information (LUPI). We address two major shortcomings of standard multimodal approaches, limited area coverage and reduced reliability. Our new framework fuses the concept of modality hallucination with triplet learning to train a model with different modalities to handle missing sensors at inference time. We evaluate the proposed model on inertial data from a wearable accelerometer device, using RGB videos and skeletons as privileged modalities, and show an improvement of accuracy of an average 6.6% on the UTD-MHAD dataset and an average 5.5% on the Berkeley MHAD dataset, reaching a new state-of-the-art for inertial-only classification accuracy on these datasets. We validate our framework through several ablation studies.