最先端の人工ニューラルネットワーク(ANN)は、ラベル付けされたデータまたはレイヤー間のフィードバックを必要とし、生物学的に妥当でないことが多く、人間が影響を受けにくい敵対的な攻撃に対して脆弱です。一方、勝者取り(WTA)ネットワークでのヘッブの学習は、教師なし、フィードフォワード、および生物学的にもっともらしいものです。ただし、非常に限定的な仮定を除いて、WTAネットワークの最新の客観的最適化理論は欠落しています。ここでは、生物学的にもっともらしいが一般的なANN要素に基づいて、そのような理論を正式に導き出します。ヘッブの学習を通じて、ネットワークパラメータはデータのベイズ生成モデルを維持します。監視損失関数はありませんが、ネットワークはそのアクティブ化と入力分布の間のクロスエントロピーを最小限に抑えます。重要なのは、絶対的な「ハード」勝者ニューロンがない「ソフト」WTAと、重みとバイアスの特定のタイプのヘッブのような可塑性です。手書き数字(MNIST)認識では、ヘッブのアルゴリズムであるSoftHebbがクロスエントロピーにアクセスせずに最小化し、より頻繁に使用されるハードWTAベースの方法よりも優れているという理論を実際に確認します。驚くべきことに、特定の条件下では、監視ありのエンドツーエンドのバックプロパゲーションよりも優れています。具体的には、2層ネットワークでは、トレーニングデータセットが1回だけ提示される場合、テストデータにノイズが多い場合、および勾配ベースの敵対的攻撃の下で、SoftHebbはバックプロパゲーションよりも優れています。特に、SoftHebbを混乱させる敵対的な攻撃は、人間の目にも混乱を招きます。最後に、モデルは入力分布からオブジェクトの内挿を生成できます。全体として、SoftHebbは最新の機械学習ツールを使用してヘッブのWTA理論を拡張し、これらのネットワークを深層学習の関連する問題に関連させます。
State-of-the-art artificial neural networks (ANNs) require labelled data or feedback between layers, are often biologically implausible, and are vulnerable to adversarial attacks that humans are not susceptible to. On the other hand, Hebbian learning in winner-take-all (WTA) networks, is unsupervised, feed-forward, and biologically plausible. However, a modern objective optimization theory for WTA networks has been missing, except under very limiting assumptions. Here we derive formally such a theory, based on biologically plausible but generic ANN elements. Through Hebbian learning, network parameters maintain a Bayesian generative model of the data. There is no supervisory loss function, but the network does minimize cross-entropy between its activations and the input distribution. The key is a "soft" WTA where there is no absolute "hard" winner neuron, and a specific type of Hebbian-like plasticity of weights and biases. We confirm our theory in practice, where, in handwritten digit (MNIST) recognition, our Hebbian algorithm, SoftHebb, minimizes cross-entropy without having access to it, and outperforms the more frequently used, hard-WTA-based method. Strikingly, it even outperforms supervised end-to-end backpropagation, under certain conditions. Specifically, in a two-layered network, SoftHebb outperforms backpropagation when the training dataset is only presented once, when the testing data is noisy, and under gradient-based adversarial attacks. Notably, adversarial attacks that confuse SoftHebb are also confusing to the human eye. Finally, the model can generate interpolations of objects from its input distribution. All in all, SoftHebb extends Hebbian WTA theory with modern machine learning tools, thus making these networks relevant to pertinent issues in deep learning.