arXiv reaDer
Set Aggregation Network as a Trainable Pooling Layer
 最大または合計プーリングなどのグローバルプーリングは、画像、テキスト、グラフ、およびその他の種類の構造化データの処理に使用されるディープニューラルネットワークの重要な要素の1つです。 Zaheerらによって提案された最近のDeepSetsアーキテクチャに基づいています。 (NIPS 2017)、代替のグローバルプーリングレイヤーとしてSet Aggregation Network(SAN)を導入します。典型的なプーリングオペレーターとは対照的に、SANでは、任意のサイズのベクター表現に特定の機能セットを埋め込むことができます。埋め込みのサイズを調整することにより、SANは入力からの情報全体を保存できることを示します。実験では、グローバルプーリングレイヤーをSANに置き換えると、分類の精度が向上することを示しています。さらに、過剰適合の可能性が低く、レギュラーとして使用できます。
Global pooling, such as max- or sum-pooling, is one of the key ingredients in deep neural networks used for processing images, texts, graphs and other types of structured data. Based on the recent DeepSets architecture proposed by Zaheer et al. (NIPS 2017), we introduce a Set Aggregation Network (SAN) as an alternative global pooling layer. In contrast to typical pooling operators, SAN allows to embed a given set of features to a vector representation of arbitrary size. We show that by adjusting the size of embedding, SAN is capable of preserving the whole information from the input. In experiments, we demonstrate that replacing global pooling layer by SAN leads to the improvement of classification accuracy. Moreover, it is less prone to overfitting and can be used as a regularizer.
updated: Mon Nov 25 2019 10:25:02 GMT+0000 (UTC)
published: Wed Oct 03 2018 13:20:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト