arXiv reaDer
まばらに活性化されたネットワーク
Sparsely Activated Networks
 教師なし学習に関するこれまでの文献は、意味のある機能を学習することを目的とした構造的優先順位の設計に焦点を当てていました。ただし、これは、学習された表現の記述の長さを考慮せずに行われました。これは、モデルの複雑さの直接的で公平な尺度です。この論文では、まず、再構成の精度と内部表現の圧縮度に基づいて教師なしモデルを評価するφメトリックを紹介します。次に、参照のベースとして2つのアクティベーション関数(Identity、ReLU)を提示し、以前に定義されたφを最小化する候補構造として3つのスパースアクティベーション関数(top-k絶対値、Extrema-Poolインデックス、Extrema)を提示して定義します。最後に、エンコード中に入力とコンボリューションされた後、スパースアクティベーション関数を通過する共有ウェイトを持つカーネルで構成されるスパースアクティベートネットワーク(SAN)を提示します。デコード中、同じ重みがまばらな活性化マップと畳み込まれ、その後、各重みからの部分的な再構築が合計されて入力が再構築されます。さまざまなデータセット(Physionet、UCI-てんかん、MNIST、FMNIST)で以前に定義された5つのアクティベーション関数を使用してSANを比較し、φを使用して選択されたモデルは説明表現の長さが小さく、解釈可能なカーネルで構成されていることを示します。
Previous literature on unsupervised learning focused on designing structural priors with the aim of learning meaningful features. However, this was done without considering the description length of the learned representations which is a direct and unbiased measure of the model complexity. In this paper, first we introduce the φ metric that evaluates unsupervised models based on their reconstruction accuracy and the degree of compression of their internal representations. We then present and define two activation functions (Identity, ReLU) as base of reference and three sparse activation functions (top-k absolutes, Extrema-Pool indices, Extrema) as candidate structures that minimize the previously defined φ. We lastly present Sparsely Activated Networks (SANs) that consist of kernels with shared weights that, during encoding, are convolved with the input and then passed through a sparse activation function. During decoding, the same weights are convolved with the sparse activation map and subsequently the partial reconstructions from each weight are summed to reconstruct the input. We compare SANs using the five previously defined activation functions on a variety of datasets (Physionet, UCI-epilepsy, MNIST, FMNIST) and show that models that are selected using φ have small description representation length and consist of interpretable kernels.
updated: Wed Feb 03 2021 16:25:28 GMT+0000 (UTC)
published: Fri Jul 12 2019 08:01:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト