arXiv reaDer
SimulSLT:エンドツーエンドの同時手話翻訳
SimulSLT: End-to-End Simultaneous Sign Language Translation
社会的に重要な技術の一種としての手話翻訳は、近年、研究者の関心を高めています。ただし、既存の手話翻訳方法では、翻訳を開始する前にすべてのビデオを読み取る必要があります。これにより、推論の待ち時間が長くなり、実際のシナリオでのアプリケーションが制限されます。この問題を解決するために、手話ビデオをターゲットテキストに同時に翻訳できる最初のエンドツーエンド手話同時翻訳モデルであるSimulSLTを提案します。 SimulSLTは、テキストデコーダー、境界予測子、およびマスクされたエンコーダーで構成されます。 1)同時翻訳にはwait-k戦略を使用します。 2)手話ビデオと光沢の間の対応をモデル化するために使用される光沢境界を出力するために、統合発火モジュールに基づく新しい境界予測子を設計します。 3)モデルがより豊富なコンテキスト情報を取得できるようにする革新的な再エンコード方法を提案します。これにより、既存のビデオ機能が完全に相互作用できるようになります。 RWTH-PHOENIX-Weather 2014Tデータセットで実施された実験結果は、SimulSLTが低遅延を維持しながら最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成することを示しており、これは私たちの方法の有効性を証明しています。
Sign language translation as a kind of technology with profound social significance has attracted growing researchers' interest in recent years. However, the existing sign language translation methods need to read all the videos before starting the translation, which leads to a high inference latency and also limits their application in real-life scenarios. To solve this problem, we propose SimulSLT, the first end-to-end simultaneous sign language translation model, which can translate sign language videos into target text concurrently. SimulSLT is composed of a text decoder, a boundary predictor, and a masked encoder. We 1) use the wait-k strategy for simultaneous translation. 2) design a novel boundary predictor based on the integrate-and-fire module to output the gloss boundary, which is used to model the correspondence between the sign language video and the gloss. 3) propose an innovative re-encode method to help the model obtain more abundant contextual information, which allows the existing video features to interact fully. The experimental results conducted on the RWTH-PHOENIX-Weather 2014T dataset show that SimulSLT achieves BLEU scores that exceed the latest end-to-end non-simultaneous sign language translation model while maintaining low latency, which proves the effectiveness of our method.
updated: Wed Dec 08 2021 11:04:52 GMT+0000 (UTC)
published: Wed Dec 08 2021 11:04:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト