arXiv reaDer
ゼロショット手話認識に向けて
Towards Zero-shot Sign Language Recognition
このホワイトペーパーでは、ゼロショット手話認識(ZSSLR)の問題に取り組んでいます。この問題では、見えている手話クラスで学習したモデルを活用して、見えない手話クラスのインスタンスを認識します。この文脈では、手話辞書から収集されたすぐに利用できるテキストの記号の説明と属性が、知識伝達のための意味クラス表現として利用されます。この新しい問題の設定では、問題を詳細に分析するために、3つのベンチマークデータセットとそれに付随するテキストおよび属性の説明を紹介します。私たちの提案するアプローチは、体と手の領域の時空間モデルを構築します。ゼロショット学習フレームワーク内でこれらの視覚的表現とともに説明テキストと属性の埋め込みを活用することにより、テキストと属性ベースのクラス定義が、これまでに見られなかった記号クラスの認識に効果的な知識を提供できることを示します。さらに、正しいゼロショット予測と誤ったゼロショット予測におけるバイナリ属性の影響を分析する手法を紹介します。導入されたアプローチと付随するデータセットは、手話認識におけるゼロショット学習のさらなる調査の基礎を提供することを期待しています。
This paper tackles the problem of zero-shot sign language recognition (ZSSLR), where the goal is to leverage models learned over the seen sign classes to recognize the instances of unseen sign classes. In this context, readily available textual sign descriptions and attributes collected from sign language dictionaries are utilized as semantic class representations for knowledge transfer. For this novel problem setup, we introduce three benchmark datasets with their accompanying textual and attribute descriptions to analyze the problem in detail. Our proposed approach builds spatiotemporal models of body and hand regions. By leveraging the descriptive text and attribute embeddings along with these visual representations within a zero-shot learning framework, we show that textual and attribute based class definitions can provide effective knowledge for the recognition of previously unseen sign classes. We additionally introduce techniques to analyze the influence of binary attributes in correct and incorrect zero-shot predictions. We anticipate that the introduced approaches and the accompanying datasets will provide a basis for further exploration of zero-shot learning in sign language recognition.
updated: Sat Jan 15 2022 19:26:36 GMT+0000 (UTC)
published: Sat Jan 15 2022 19:26:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト