arXiv reaDer
Multi-Grained Spatio-temporal Modeling for Lip-reading
  読唇は、話者の唇の動きを視覚的に分析することにより、ビデオから音声コンテンツを認識することを目的としています。これは、同一または非常に類似した唇の動きを伴う同形異義語の存在と、話者間の多様な唇の外観と運動パターンのために、困難な作業です。これらの課題に対処するために、発話プロセスのマルチグレイン時空間モデリングにより、単語間のニュアンスだけでなく、異なる話者のスタイルもキャプチャする、新しい読唇モデルを提案します。具体的には、最初に視覚的なフロントエンドでフレームレベルのきめの細かい特徴と短期の中程度の特徴の両方を抽出し、次にそれらを組み合わせて類似の音素を持つ単語の識別表現を取得します。次に、時間的注意で強化された双方向ConvLSTMは、入力シーケンス全体で時空間情報を集約します。これにより、各単語の粗取得パターンをキャプチャし、話者のアイデンティティ、照明条件などのさまざまな条件に堅牢になることが期待されますに。統一されたフレームワークのさまざまなレベルの情報を最大限に活用することで、モデルは類似した発音の単語を区別できるだけでなく、外観の変化に対しても堅牢になります。 2つの難易度の高い単語レベルの読唇ベンチマークで手法を評価し、提案された手法の有効性を示します。
Lip-reading aims to recognize speech content from videos via visual analysis of speakers' lip movements. This is a challenging task due to the existence of homophemes-words which involve identical or highly similar lip movements, as well as diverse lip appearances and motion patterns among the speakers. To address these challenges, we propose a novel lip-reading model which captures not only the nuance between words but also styles of different speakers, by a multi-grained spatio-temporal modeling of the speaking process. Specifically, we first extract both frame-level fine-grained features and short-term medium-grained features by the visual front-end, which are then combined to obtain discriminative representations for words with similar phonemes. Next, a bidirectional ConvLSTM augmented with temporal attention aggregates spatio-temporal information in the entire input sequence, which is expected to be able to capture the coarse-gained patterns of each word and robust to various conditions in speaker identity, lighting conditions, and so on. By making full use of the information from different levels in a unified framework, the model is not only able to distinguish words with similar pronunciations, but also becomes robust to appearance changes. We evaluate our method on two challenging word-level lip-reading benchmarks and show the effectiveness of the proposed method, which also demonstrate the above claims.
updated: Mon Sep 02 2019 02:22:32 GMT+0000 (UTC)
published: Fri Aug 30 2019 09:50:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト