話し言葉の発話音は、声道を取り巻く調音器の構成を変えることによって得られます。それらには、人間の音声生成の根本的なメカニズムをよりよく理解するために利用できる豊富な情報が含まれています。リアルタイム磁気共鳴イメージング(rtMRI)によってキャプチャされた、音声生成中の声道整形の可変長シーケンスの音響情報を理解し、それをテキストに変換する、新しいディープニューラルネットワークベースの学習フレームワークを提案します。提案されたフレームワークは、時空間畳み込み、リカレントネットワーク、およびコネクショニスト時分類損失で構成され、完全にエンドツーエンドでトレーニングされます。 USC-TIMITコーパスでは、モデルは文レベルで40.6%PERを達成し、既存のモデルと比較してはるかに優れています。私たちの知る限り、これはrtMRIビデオによってキャプチャされた個人の調音運動に基づいて話された文全体の認識を実証する最初の研究です。また、さまざまな感情や性別に関して、声道の各サブ領域(つまり、咽頭、膀胱および背側、硬口蓋、唇の狭窄領域)における関節の形状の変化の分析を実行しました。結果は、各サブ領域の歪みが感情と性別の両方の影響を受けることを示唆しています。
Speech sounds of spoken language are obtained by varying configuration of the articulators surrounding the vocal tract. They contain abundant information that can be utilized to better understand the underlying mechanism of human speech production. We propose a novel deep neural network-based learning framework that understands acoustic information in the variable-length sequence of vocal tract shaping during speech production, captured by real-time magnetic resonance imaging (rtMRI), and translate it into text. The proposed framework comprises of spatiotemporal convolutions, a recurrent network, and the connectionist temporal classification loss, trained entirely end-to-end. On the USC-TIMIT corpus, the model achieved a 40.6% PER at sentence-level, much better compared to the existing models. To the best of our knowledge, this is the first study that demonstrates the recognition of entire spoken sentence based on an individual's articulatory motions captured by rtMRI video. We also performed an analysis of variations in the geometry of articulation in each sub-regions of the vocal tract (i.e., pharyngeal, velar and dorsal, hard palate, labial constriction region) with respect to different emotions and genders. Results suggest that each sub-regions distortion is affected by both emotion and gender.