このペーパーでは、畳み込みニューラルネットワークの中間注意マップの弱く監視された生成メカニズムに基づいて構築し、注意モジュールの有効性をより簡単に開示して、その潜在能力を完全に活用します。任意の注意モジュールを備えた既存のニューラルネットワークを前提として、メインネットワークの注意マップの品質を評価するためのメタ批評家ネットワークを紹介します。設計された報酬の離散性のため、提案された学習方法は強化学習設定に配置され、注意アクターと繰り返し批評家は交互に最適化され、一時的な注意表現に対する即時の批評と修正を提供するため、ディープ強化注意学習と呼ばれます(DREAL)。これは、さまざまなタイプのアテンションモジュールを備えたネットワークアーキテクチャに普遍的に適用でき、カテゴリとインスタンスの両方の認識ベンチマークに関する広範な実験で実証されているように、個々のアテンションモジュールから生じる最終的な認識パフォーマンスの相対的ゲインを最大化することにより、それらの表現能力を促進します。
In this paper, we build upon the weakly-supervised generation mechanism of intermediate attention maps in any convolutional neural networks and disclose the effectiveness of attention modules more straightforwardly to fully exploit their potential. Given an existing neural network equipped with arbitrary attention modules, we introduce a meta critic network to evaluate the quality of attention maps in the main network. Due to the discreteness of our designed reward, the proposed learning method is arranged in a reinforcement learning setting, where the attention actors and recurrent critics are alternately optimized to provide instant critique and revision for the temporary attention representation, hence coined as Deep REinforced Attention Learning (DREAL). It could be applied universally to network architectures with different types of attention modules and promotes their expressive ability by maximizing the relative gain of the final recognition performance arising from each individual attention module, as demonstrated by extensive experiments on both category and instance recognition benchmarks.