arXiv reaDer
音声から手話への翻訳のためのオープンソースの光沢ベースのベースライン
An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
手話翻訳システムは複雑で、多くのコンポーネントが必要です。その結果、出版物間でメソッドを比較することは非常に困難です。テキストからグロス、ポーズ、ビデオへのパイプライン アプローチのオープンソース実装を紹介し、ドイツ語からスイスドイツ手話への変換、フランス語からスイスのフランス語手話への変換、イタリア語からイタリア語手話への変換を示します。スイス。私たちは、テキストからグロスへの翻訳に 3 つの異なるコンポーネントを提案します。レンマタイザー、ルールベースの単語の並べ替えと削除コンポーネント、およびニューラル機械翻訳システムです。光沢からポーズへの変換は、ビデオから抽出された骨格ポーズを使用して、3 つの異なる手話言語の辞書からのデータを使用して行われます。文を生成するには、最初にテキストから光沢へのシステムが実行され、結果として得られる標識のポーズ表現がつなぎ合わされます。
Sign language translation systems are complex and require many components. As a result, it is very hard to compare methods across publications. We present an open-source implementation of a text-to-gloss-to-pose-to-video pipeline approach, demonstrating conversion from German to Swiss German Sign Language, French to French Sign Language of Switzerland, and Italian to Italian Sign Language of Switzerland. We propose three different components for the text-to-gloss translation: a lemmatizer, a rule-based word reordering and dropping component, and a neural machine translation system. Gloss-to-pose conversion occurs using data from a lexicon for three different signed languages, with skeletal poses extracted from videos. To generate a sentence, the text-to-gloss system is first run, and the pose representations of the resulting signs are stitched together.
updated: Sun May 28 2023 12:57:20 GMT+0000 (UTC)
published: Sun May 28 2023 12:57:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト