arXiv reaDer
インターフロー:アテンションメカニズムを使用したマルチレイヤー機能マッピングの集約
Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism
従来、CNNモデルは階層構造を持ち、最後の層の特徴マッピングを利用して予測出力を取得します。ただし、最適なネットワーク深度を決定し、中間層に優れた機能を学習させるのは難しい場合があります。この論文では、特に従来のCNNモデル用のInterflowアルゴリズムを提案します。 Interflowは、CNNを深さに応じていくつかのステージに分割し、各ステージの特徴マッピングによって予測を行います。続いて、これらの予測ブランチを適切に設計されたアテンションモジュールに入力します。このモジュールは、これらの予測ブランチの重みを学習し、それらを集約して、最終出力を取得します。インターフローは、浅い層と深い層の両方で学習した特徴に重みを付けて融合し、各段階の特徴情報を合理的かつ効果的に処理し、中間層がより優れた特徴を学習できるようにし、モデル表現能力を強化します。さらに、Interflowは、注意メカニズムを導入することにより、勾配消失問題を軽減し、ネットワーク深度選択の難しさを軽減し、起こりうる過剰適合問題を軽減することができます。さらに、副産物としてのネットワークの劣化を回避できます。元のモデルと比較して、Interflowを使用したCNNモデルは、複数のベンチマークデータセットでより高いテスト精度を実現します。
Traditionally, CNN models possess hierarchical structures and utilize the feature mapping of the last layer to obtain the prediction output. However, it can be difficulty to settle the optimal network depth and make the middle layers learn distinguished features. This paper proposes the Interflow algorithm specially for traditional CNN models. Interflow divides CNNs into several stages according to the depth and makes predictions by the feature mappings in each stage. Subsequently, we input these prediction branches into a well-designed attention module, which learns the weights of these prediction branches, aggregates them and obtains the final output. Interflow weights and fuses the features learned in both shallower and deeper layers, making the feature information at each stage processed reasonably and effectively, enabling the middle layers to learn more distinguished features, and enhancing the model representation ability. In addition, Interflow can alleviate gradient vanishing problem, lower the difficulty of network depth selection, and lighten possible over-fitting problem by introducing attention mechanism. Besides, it can avoid network degradation as a byproduct. Compared with the original model, the CNN model with Interflow achieves higher test accuracy on multiple benchmark datasets.
updated: Tue Jul 13 2021 07:50:20 GMT+0000 (UTC)
published: Sat Jun 26 2021 18:22:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト