arXiv reaDer
Conditionally Learn to Pay Attention for Sequential Visual Task
 通常、シーケンシャルビジュアルタスクでは、以前の観測を条件とする現在の対象オブジェクトに注意を払う必要があります。人気のあるソフトアテンションメカニズムとは異なり、現在のフォーカスオブジェクトの弱い特徴記述子を表す新しい条件付きグローバル特徴を導入することにより、新しいアテンションフレームワークを提案します。具体的には、標準CNN(畳み込みニューラルネットワーク)パイプラインの場合、異なる受容フィールドを持つ畳み込み層を使用して、畳み込みフィーチャが条件付きグローバルフィーチャにどのように整合するかを測定することにより、注意マップを作成します。条件付きグローバル機能は、複数のオブジェクト認識用の単純なリカレントニューラルネットワークや画像キャプション用の中程度の複雑な言語モデルなど、さまざまな視覚的タスクに応じて、さまざまなリカレント構造によって生成できます。実験により、提案された条件付き注意モデルは、SVHN(Street View House Numbers)データセット上で、追加の境界ボックスの有無にかかわらず最高のパフォーマンスを達成することが示されています。画像キャプションについては、注目モデルは一般的なソフト注目モデルよりも優れたスコアを生成します。
Sequential visual task usually requires to pay attention to its current interested object conditional on its previous observations. Different from popular soft attention mechanism, we propose a new attention framework by introducing a novel conditional global feature which represents the weak feature descriptor of the current focused object. Specifically, for a standard CNN (Convolutional Neural Network) pipeline, the convolutional layers with different receptive fields are used to produce the attention maps by measuring how the convolutional features align to the conditional global feature. The conditional global feature can be generated by different recurrent structure according to different visual tasks, such as a simple recurrent neural network for multiple objects recognition, or a moderate complex language model for image caption. Experiments show that our proposed conditional attention model achieves the best performance on the SVHN (Street View House Numbers) dataset with / without extra bounding box; and for image caption, our attention model generates better scores than the popular soft attention model.
updated: Mon Nov 11 2019 16:11:46 GMT+0000 (UTC)
published: Mon Nov 11 2019 16:11:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト