arXiv reaDer
Putting An End to End-to-End: Gradient-Isolated Learning of Representations
ラベルやエンドツーエンドの逆伝播を必要とせず、代わりにデータの自然順序を活用する、ローカルの自己教師付き表現学習のための新しい深層学習方法を提案します。生物学的ニューラルネットワークは、グローバルエラー信号を逆伝播せずに学習するように見えるという観察に触発され、ディープニューラルネットワークを勾配分離モジュールのスタックに分割しました。各モジュールは、Oord et al。からバインドされたInfoNCEを使用して、入力の情報を最大限に保存するようにトレーニングされています。 [2018]。この貪欲なトレーニングにもかかわらず、各モジュールはその前身の出力を改善し、最上位モジュールによって作成された表現は、オーディオおよびビジュアルドメインの下流分類タスクで非常に競争力のある結果をもたらすことを実証します。この提案により、モジュールを非同期的に最適化することができ、ラベルのないデータセットで非常に深いニューラルネットワークの大規模な分散トレーニングが可能になります。
We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by the observation that biological neural networks appear to learn without backpropagating a global error signal, we split a deep neural network into a stack of gradient-isolated modules. Each module is trained to maximally preserve the information of its inputs using the InfoNCE bound from Oord et al. [2018]. Despite this greedy training, we demonstrate that each module improves upon the output of its predecessor, and that the representations created by the top module yield highly competitive results on downstream classification tasks in the audio and visual domain. The proposal enables optimizing modules asynchronously, allowing large-scale distributed training of very deep neural networks on unlabelled datasets.
updated: Mon Jan 27 2020 12:34:15 GMT+0000 (UTC)
published: Tue May 28 2019 13:00:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト