arXiv reaDer
情報融合のためのラベル付き多重正準相関分析
The Labeled Multiple Canonical Correlation Analysis for Information Fusion
マルチモーダル情報融合の目的は、さまざまなソースで運ばれる情報を数学的に分析し、パターン認識やその他のマルチメディア情報処理タスクでより効果的に利用される新しい表現を作成することです。この論文では、ラベル付き多重正準相関分析(LMCCA)に基づくマルチモーダル情報融合と表現のための新しい方法を紹介します。トレーニングサンプルのクラスラベル情報を組み込むことにより、提案されたLMCCAは、融合された特徴がマルチモーダル情報表現の識別特性を持ち、優れた認識パフォーマンスを提供できることを保証します。 LMCCAのプロトタイプを実装して、手書きの数字認識、複数の機能を利用した顔認識とオブジェクト認識、音声ドメインと視覚ドメインの両方からの情報を含むバイモーダルな人間の感情認識に対する有効性を示します。 LMCCAの一般的な性質により、深層学習(DL)メソッドによるものを含め、任意の手段によって抽出された特徴を入力として受け取ることができます。実験結果は、提案された方法が統計的機械学習(SML)方法とDLに基づく方法の両方のパフォーマンスを向上させたことを示しています。
The objective of multimodal information fusion is to mathematically analyze information carried in different sources and create a new representation which will be more effectively utilized in pattern recognition and other multimedia information processing tasks. In this paper, we introduce a new method for multimodal information fusion and representation based on the Labeled Multiple Canonical Correlation Analysis (LMCCA). By incorporating class label information of the training samples,the proposed LMCCA ensures that the fused features carry discriminative characteristics of the multimodal information representations, and are capable of providing superior recognition performance. We implement a prototype of LMCCA to demonstrate its effectiveness on handwritten digit recognition,face recognition and object recognition utilizing multiple features,bimodal human emotion recognition involving information from both audio and visual domains. The generic nature of LMCCA allows it to take as input features extracted by any means,including those by deep learning (DL) methods. Experimental results show that the proposed method enhanced the performance of both statistical machine learning (SML) methods, and methods based on DL.
updated: Sun Feb 28 2021 00:13:36 GMT+0000 (UTC)
published: Sun Feb 28 2021 00:13:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト