arXiv reaDer
Semantics to Space(S2S):ゼロショット動詞オブジェクトクエリ推論のための空間空間へのセマンティクスの埋め込み
Semantics to Space(S2S): Embedding semantics into spatial space for zero-shot verb-object query inferencing
  人間オブジェクト相互作用と動詞オブジェクト(VO)クエリを推論するための新しいディープゼロショット学習(ZSL)モデルを提示します。以前の2ストリームZSLアプローチでは、セマンティクス/テキスト情報のみを使用してクエリストリームに入力しますが、セマンティクスを視覚的表現ストリームにも組み込み、埋め込むようにします。私たちのアプローチは、存在するオブジェクトから派生したセマンティクスがビジュアルストリームの空間空間に埋め込まれているセマンティクスから空間(S2S)アーキテクチャによって強化されています。このアーキテクチャにより、人間とオブジェクトのセマンティック属性を、それらの位置/サイズ/シルエット情報とともに共有できます。検証するために、Verb-Transferability 60(VT60)という新しいデータセットを作成しました。 VT60は、VOクエリを使用した2ストリームZSLアプローチをテストするために調整された重複する動詞を持つ60の異なるVOペアを提供します。実験評価により、このアプローチは最先端の性能を上回るだけでなく、どのZSLベースラインアーキテクチャが使用されているかに関係なく、一貫してパフォーマンスを向上させることができることが示されています。
We present a novel deep zero-shot learning (ZSL) model for inferencing human-object-interaction with verb-object (VO) query. While the previous two-stream ZSL approaches only use the semantic/textual information to be fed into the query stream, we seek to incorporate and embed the semantics into the visual representation stream as well. Our approach is powered by Semantics-to-Space (S2S) architecture where semantics derived from the residing objects are embedded into a spatial space of the visual stream. This architecture allows the co-capturing of the semantic attributes of the human and the objects along with their location/size/silhouette information. To validate, we have constructed a new dataset, Verb-Transferability 60 (VT60). VT60 provides 60 different VO pairs with overlapping verbs tailored for testing two-stream ZSL approaches with VO query. Experimental evaluations show that our approach not only outperforms the state-of-the-art, but also shows the capability of consistently improving performance regardless of which ZSL baseline architecture is used.
updated: Fri Sep 13 2019 22:39:48 GMT+0000 (UTC)
published: Thu Jun 13 2019 19:01:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト