arXiv reaDer
Learning Non-Parametric Invariances from Data with Permanent Random Connectomes
 教師あり分類および一般的な機械学習の基本的な問題の1つは、データに存在するノンパラメトリック不変性のモデリングです。ほとんどの先行技術は、データに存在すると予想されるパラメトリックな迷惑変換に対する不変性の形で事前分布を実施することに焦点を合わせてきた。データから直接ノンパラメトリック不変性を学習することは、重要な未解決の問題のままです。この論文では、データ自体から一般的な不変性を学習できる畳み込みネットワークの新しいアーキテクチャ層を紹介します。この層は、ノンパラメトリック変換に対する不変性を学習でき、興味深いことに、パーマネントランダムコネクトーム非パラメトリック変換ネットワーク(PRC-NPTN)と呼ばれる、パーマネントランダムコネクトームの動機付けと組み込みを行います。 PRC-NPTNネットワークは、完全に接続された畳み込み層の接続の小さなサブセットであるランダム接続(重みだけでなく)で初期化されます。重要なのは、初期化されたPRC-NPTNのこれらの接続は、トレーニングとテストの間、永続的なままです。永続的なランダムコネクトームにより、これらのアーキテクチャは、高度に順序付けられた構造を必要とする他の多くの主流ネットワークアーキテクチャよりも生物学的にゆるやかになります。複数の迷惑変換に対する不変性を同時に呼び出しながら、データ自体から不変性を学習する簡単な方法として、ランダムに初期化された接続を動機付けます。これらのランダムに初期化されたパーマネント接続は、一般化にプラスの効果をもたらし、はるかに大きいConvNetベースラインと、データ自体から学習不変性を強制するベンチマークで最近提案された非パラメトリック変換ネットワーク(NPTN)より優れています。
One of the fundamental problems in supervised classification and in machine learning in general, is the modelling of non-parametric invariances that exist in data. Most prior art has focused on enforcing priors in the form of invariances to parametric nuisance transformations that are expected to be present in data. Learning non-parametric invariances directly from data remains an important open problem. In this paper, we introduce a new architectural layer for convolutional networks which is capable of learning general invariances from data itself. This layer can learn invariance to non-parametric transformations and interestingly, motivates and incorporates permanent random connectomes, thereby being called Permanent Random Connectome Non-Parametric Transformation Networks (PRC-NPTN). PRC-NPTN networks are initialized with random connections (not just weights) which are a small subset of the connections in a fully connected convolution layer. Importantly, these connections in PRC-NPTNs once initialized remain permanent throughout training and testing. Permanent random connectomes make these architectures loosely more biologically plausible than many other mainstream network architectures which require highly ordered structures. We motivate randomly initialized connections as a simple method to learn invariance from data itself while invoking invariance towards multiple nuisance transformations simultaneously. We find that these randomly initialized permanent connections have positive effects on generalization, outperform much larger ConvNet baselines and the recently proposed Non-Parametric Transformation Network (NPTN) on benchmarks that enforce learning invariances from the data itself.
updated: Fri Aug 14 2020 00:54:18 GMT+0000 (UTC)
published: Wed Nov 13 2019 03:03:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト