arXiv reaDer
ディープ リカレント ニューラル ネットワークによる音声認識
Speech Recognition with Deep Recurrent Neural Networks
リカレント ニューラル ネットワーク(RNN)は、逐次データのための強力なモデルである。Connectionist Temporal Classification(コネクショニスト時間的分類)のようなエンドツーエンドの学習法により、入出力のアラインメントが不明なシーケンスラベリング問題のためにRNNを学習することが可能になる。これらの手法と長期短期記憶RNNアーキテクチャを組み合わせることで、特に実りあることが証明され、草書手書き認識において最先端の結果が得られている。しかし、音声認識におけるRNNの性能は、これまでのところ、ディープ フィードフォワード ネットワークの方が良い結果が得られており、期待はずれであった。この論文では、ディープ ネットワークで非常に効果的であることが証明されている複数のレベルの表現と、RNNに力を与える長距離コンテキストの柔軟な使用を組み合わせたディープ リカレント ニューラル ネットワークを調査している。適切な正則化を用いてエンドツーエンドで学習した場合、我々の知る限りでは最高のスコアであるTIMIT音素認識ベンチマークのテストセット誤差17.7%を達成することがわかった。
Recurrent neural networks (RNNs) are a powerful model for sequential data. End-to-end training methods such as Connectionist Temporal Classification make it possible to train RNNs for sequence labelling problems where the input-output alignment is unknown. The combination of these methods with the Long Short-term Memory RNN architecture has proved particularly fruitful, delivering state-of-the-art results in cursive handwriting recognition. However RNN performance in speech recognition has so far been disappointing, with better results returned by deep feedforward networks. This paper investigates deep recurrent neural networks, which combine the multiple levels of representation that have proved so effective in deep networks with the flexible use of long range context that empowers RNNs. When trained end-to-end with suitable regularisation, we find that deep Long Short-term Memory RNNs achieve a test set error of 17.7% on the TIMIT phoneme recognition benchmark, which to our knowledge is the best recorded score.
updated: Fri Mar 22 2013 20:55:48 GMT+0000 (UTC)
published: Fri Mar 22 2013 20:55:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト