arXiv reaDer
On Incorporating Semantic Prior Knowledge in Deep Learning Through Embedding-Space Constraints
 問題について人間が保持する知識は、多くの場合、トレーニングデータと出力ラベルのセットをはるかに超えています。ディープラーニングの成功は主に教師付きトレーニングに依存しますが、重要なプロパティは、因果関係やドメイン固有の不変性など、エンドツーエンドのアノテーションだけから効率的に推論することはできません。教師付きトレーニングを、トレーニングインスタンス間の関係として表される事前知識で補足する一般的な手法を紹介します。質問間の等価性と論理的含意の関係を含む、さまざまな補助注釈を活用するための視覚的な質問応答のタスクの方法を示します。これらの注釈を使用する既存の方法(補助的な損失やデータの増加など)は、エンドツーエンドの目標との慎重なバランスを必要とするため、これらの関係をモデルに厳密に含めることを保証できません。私たちの方法は、これらの関係を使用してモデルの埋め込みスペースを形成し、学習した表現に対する厳密な制約として扱います。 VQAのコンテキストでは、このアプローチにより、特にソフトレギュラーとして制約を組み込む一般的な慣行に比べて、精度と堅牢性が大幅に向上します。また、このタイプの事前知識をメソッドに組み込むと、使用する監視データの量とは無関係に、一貫した改善がもたらされることも示しています。それは、他の方法ではエンドツーエンドの注釈だけから抽出するのが難しい追加のトレーニング信号の価値を示しています。
The knowledge that humans hold about a problem often extends far beyond a set of training data and output labels. While the success of deep learning mostly relies on supervised training, important properties cannot be inferred efficiently from end-to-end annotations alone, for example causal relations or domain-specific invariances. We present a general technique to supplement supervised training with prior knowledge expressed as relations between training instances. We illustrate the method on the task of visual question answering to exploit various auxiliary annotations, including relations of equivalence and of logical entailment between questions. Existing methods to use these annotations, including auxiliary losses and data augmentation, cannot guarantee the strict inclusion of these relations into the model since they require a careful balancing against the end-to-end objective. Our method uses these relations to shape the embedding space of the model, and treats them as strict constraints on its learned representations. In the context of VQA, this approach brings significant improvements in accuracy and robustness, in particular over the common practice of incorporating the constraints as a soft regularizer. We also show that incorporating this type of prior knowledge with our method brings consistent improvements, independently from the amount of supervised data used. It demonstrates the value of an additional training signal that is otherwise difficult to extract from end-to-end annotations alone.
updated: Sun Nov 17 2019 04:07:47 GMT+0000 (UTC)
published: Mon Sep 30 2019 06:26:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト