ウェアラブルデータから学習するマルチモーダル表現のための新しい動的で効果的な手法である、クロスモーダルの注意深い接続を提案します。私たちのソリューションは、パイプラインの任意の段階に統合できます。つまり、畳み込み層またはブロックの後、各モダリティの処理を担当する個々のストリーム間に中間接続を作成できます。さらに、私たちの方法は2つの特性から恩恵を受けます。まず、情報を一方向(あるモダリティから別のモダリティへ)または双方向に共有できます。次に、同時に複数のステージに統合して、ネットワークの勾配を複数のタッチポイントで交換できるようにすることができます。 3つのパブリックマルチモーダルウェアラブルデータセット、WESAD、SWELL-KW、およびCASEで広範な実験を実行し、この方法が異なるモダリティ間で情報を効果的に調整および共有して、より良い表現を学習できることを示します。私たちの実験はさらに、単純なCNNベースのマルチモーダルソリューション(2、3、または4モダリティ)に統合されると、私たちの方法が最先端の優れたまたは競争力のあるパフォーマンスをもたらし、さまざまなベースラインのユニモーダルを上回ることができることを示しています古典的なマルチモーダル手法。
We propose cross-modal attentive connections, a new dynamic and effective technique for multimodal representation learning from wearable data. Our solution can be integrated into any stage of the pipeline, i.e., after any convolutional layer or block, to create intermediate connections between individual streams responsible for processing each modality. Additionally, our method benefits from two properties. First, it can share information uni-directionally (from one modality to the other) or bi-directionally. Second, it can be integrated into multiple stages at the same time to further allow network gradients to be exchanged in several touch-points. We perform extensive experiments on three public multimodal wearable datasets, WESAD, SWELL-KW, and CASE, and demonstrate that our method can effectively regulate and share information between different modalities to learn better representations. Our experiments further demonstrate that once integrated into simple CNN-based multimodal solutions (2, 3, or 4 modalities), our method can result in superior or competitive performance to state-of-the-art and outperform a variety of baseline uni-modal and classical multimodal methods.