arXiv reaDer
Compensating Supervision Incompleteness with Prior Knowledge in Semantic Image Interpretation
  セマンティックイメージの解釈は、イメージから構造化セマンティック記述を抽出するタスクです。これには、視覚的な関係の検出が必要です。サブジェクトとオブジェクトの間のセマンティックな関係を記述するトリプル(サブジェクト、リレーションシップ、オブジェクト)。視覚的関係の検出に対する純粋な教師ありアプローチでは、(対象、関係、オブジェクト)のすべての可能な組み合わせに対して完全でバランスの取れたトレーニングセットが必要です。ただし、このようなトレーニングセットは利用できず、人間の手強い努力が必要になります。これは、トレーニングセットに表示されないトリプルを予測できることを意味します。この問題は、ゼロショット学習と呼ばれます。ゼロショット学習への最先端のアプローチは、トレーニングセットまたは外部の言語知識の関係の類似性を活用します。本論文では、他の見られた関係と背景知識との類似性を活用する新しい統計的関係学習フレームワークであるLogic Tensor Networksを使用して、ゼロショット学習を実行します。 Visual Relationship Datasetの実験は、論理的制約の使用が現在の方法よりも優れていることを示しています。これは、トレーニングセットの不完全性を軽減するために背景知識を使用できることを意味します。
Semantic Image Interpretation is the task of extracting a structured semantic description from images. This requires the detection of visual relationships: triples (subject,relation,object) describing a semantic relation between a subject and an object. A pure supervised approach to visual relationship detection requires a complete and balanced training set for all the possible combinations of (subject, relation, object). However, such training sets are not available and would require a prohibitive human effort. This implies the ability of predicting triples which do not appear in the training set. This problem is called zero-shot learning. State-of-the-art approaches to zero-shot learning exploit similarities among relationships in the training set or external linguistic knowledge. In this paper, we perform zero-shot learning by using Logic Tensor Networks, a novel Statistical Relational Learning framework that exploits both the similarities with other seen relationships and background knowledge, expressed with logical constraints between subjects, relations and objects. The experiments on the Visual Relationship Dataset show that the use of logical constraints outperforms the current methods. This implies that background knowledge can be used to alleviate the incompleteness of training sets.
updated: Tue Oct 01 2019 14:56:08 GMT+0000 (UTC)
published: Tue Oct 01 2019 14:56:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト