自動音声認識(ASR)テクノロジーの急速な進歩にもかかわらず、オーバーラップするスピーカーからの干渉、バックグラウンドノイズ、および部屋の残響を特徴とするカクテルパーティーの音声の正確な認識は、今日まで非常に困難な作業です。音響信号の破損に対する視覚モダリティの不変性に動機付けられて、オーディオビジュアル音声強調技術が開発されましたが、主に重複する音声分離および認識タスクを対象としています。この論文では、システムの3つの段階すべてに視覚情報を完全に組み込むことを特徴とする、視聴覚マルチチャネル音声分離、残響除去、および認識アプローチを提案します。音声のみを使用することに対する追加の視覚モダリティの利点は、それぞれDNN-WPEとスペクトルマッピングに基づく2つの神経残響除去アプローチで実証されています。分離モデルと残響除去モデル間の学習コスト関数の不一致、およびバックエンド認識システムとの統合は、MSEおよびLF-MMI基準の微調整を使用して最小限に抑えられます。 LRS2データセットで実施された実験は、提案された視聴覚マルチチャネル音声分離、残響除去、および認識システムが、統計的に有意な単語誤り率(WER)によって、残響除去モジュールを含まないベースラインの視聴覚マルチチャネル音声分離および認識システムよりも優れていることを示唆しています。 )絶対値2.06%(相対値8.77%)の削減。
Despite the rapid advance of automatic speech recognition (ASR) technologies, accurate recognition of cocktail party speech characterised by the interference from overlapping speakers, background noise and room reverberation remains a highly challenging task to date. Motivated by the invariance of visual modality to acoustic signal corruption, audio-visual speech enhancement techniques have been developed, although predominantly targeting overlapping speech separation and recognition tasks. In this paper, an audio-visual multi-channel speech separation, dereverberation and recognition approach featuring a full incorporation of visual information into all three stages of the system is proposed. The advantage of the additional visual modality over using audio only is demonstrated on two neural dereverberation approaches based on DNN-WPE and spectral mapping respectively. The learning cost function mismatch between the separation and dereverberation models and their integration with the back-end recognition system is minimised using fine-tuning on the MSE and LF-MMI criteria. Experiments conducted on the LRS2 dataset suggest that the proposed audio-visual multi-channel speech separation, dereverberation and recognition system outperforms the baseline audio-visual multi-channel speech separation and recognition system containing no dereverberation module by a statistically significant word error rate (WER) reduction of 2.06% absolute (8.77% relative).