arXiv reaDer
IrisNet: Deep Learning for Automatic and Real-time Tongue Contour Tracking in Ultrasound Video Data using Peripheral Vision
 深い畳み込みニューラルネットワークの進歩は、画像の分類やセグメンテーションなど、さまざまなリアルタイムのコンピュータービジョンタスクでうまく利用されています。計算ユニットの開発、デジタルデータセットの利用可能性、および深層学習モデルのパフォーマンスの向上により、リアルタイム超音波データでの舌の輪郭の完全自動かつ正確な追跡が近年だけ実用的になりました。最近の研究では、マルチモーダル超音波強化アプローチを使用した発音トレーニングなどのリアルタイムアプリケーションでの超音波舌輪郭の追跡において、深層学習技術のパフォーマンスが重要であることが示されています。超音波舌データセット間の相関が高いため、ほぼすべてのデータセットの自動舌追跡を実現する一般的なモデルを使用することが可能です。この論文では、ほぼすべての主要な超音波舌データセットに適用可能な、リアルタイムで正確かつ完全に自動化された舌輪郭追跡タスクを処理するために、人間の目の周辺視覚能力を模倣する畳み込みモジュールで構成される深層学習モデルを提案しました。さまざまな超音波舌データセットおよびPASCAL VOC2012でのIrisNetの定性的および定量的評価により、同様の手法と比較した際立った一般化の成果が明らかになりました。
The progress of deep convolutional neural networks has been successfully exploited in various real-time computer vision tasks such as image classification and segmentation. Owing to the development of computational units, availability of digital datasets, and improved performance of deep learning models, fully automatic and accurate tracking of tongue contours in real-time ultrasound data became practical only in recent years. Recent studies have shown that the performance of deep learning techniques is significant in the tracking of ultrasound tongue contours in real-time applications such as pronunciation training using multimodal ultrasound-enhanced approaches. Due to the high correlation between ultrasound tongue datasets, it is feasible to have a general model that accomplishes automatic tongue tracking for almost all datasets. In this paper, we proposed a deep learning model comprises of a convolutional module mimicking the peripheral vision ability of the human eye to handle real-time, accurate, and fully automatic tongue contour tracking tasks, applicable for almost all primary ultrasound tongue datasets. Qualitative and quantitative assessment of IrisNet on different ultrasound tongue datasets and PASCAL VOC2012 revealed its outstanding generalization achievement in compare with similar techniques.
updated: Fri Apr 17 2020 20:01:29 GMT+0000 (UTC)
published: Sun Nov 10 2019 17:59:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト