arXiv reaDer
FAN:集中型アテンションネットワーク
FAN: Focused Attention Networks
  注意ネットワークは、重み関数を介して構成要素間の関係を強調することにより、ビジョンと言語タスクの両方に有望です。そのような要素は、地域提案ネットワークによって出力される画像内の地域、または単語の埋め込みによって表される文内の単語である可能性があります。これまで、注意の重みの学習は、タスク固有の損失関数の最小化によってのみ推進されてきました。エンティティ間の有益なペアワイズ関係をより強調するために、注意の重みを学習する方法を紹介します。鍵となる要素は、新しい中心質量のクロスエントロピー損失です。これは、タスク固有のものと組み合わせて適用できます。一般的なタスクのこれらの注意の重みを学習するために、集中的な注意バックボーンをさらに導入します。集中的な監督により、意味のあるエンティティ全体の注意の分散が改善され、それらから機能を集約することで表現が強化されることを実証します。私たちの焦点を当てたアテンションモジュールは、リレーションシッププロポーザルタスクのリレーションシップの最先端の回復につながり、さまざまなビジョンと言語タスクのパフォーマンスを向上させます。
Attention networks show promise for both vision and language tasks, by emphasizing relationships between constituent elements through weighting functions. Such elements could be regions in an image output by a region proposal network, or words in a sentence, represented by word embedding. Thus far the learning of attention weights has been driven solely by the minimization of task specific loss functions. We introduce a method for learning attention weights to better emphasize informative pair-wise relations between entities. The key component is a novel center-mass cross entropy loss, which can be applied in conjunction with the task specific ones. We further introduce a focused attention backbone to learn these attention weights for general tasks. We demonstrate that the focused supervision leads to improved attention distribution across meaningful entities, and that it enhances the representation by aggregating features from them. Our focused attention module leads to state-of-the-art recovery of relations in a relationship proposal task and boosts performance for various vision and language tasks.
updated: Thu Oct 03 2019 19:55:42 GMT+0000 (UTC)
published: Mon May 27 2019 20:41:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト