arXiv reaDer
教師あり学習の再考:生物学的学習とその名前での呼び出しからの洞察
Rethinking supervised learning: insights from biological learning and from calling it by its name
人工ニューラルネットワークのルネッサンスは、分類モデルの成功によって促進され、より広い用語の教師あり学習でコミュニティによってタグ付けされました。並外れた結果は、野心的な約束と誇張でいっぱいの誇大宣伝を引き起こしました。すぐにコミュニティは、成功は何千ものラベル付きの例の利用可能性に負うところが大きいことに気付き、教師あり学習は多くの場合、栄光から恥へと変化しました。学習:予測的、教師なし、半教師あり、そして最近では自己教師あり学習。ただし、これらはすべて、理論的に根拠のある分類法の実際のカテゴリではなく、ブランド名のようです。さらに、教師あり学習を追放するという呼びかけは、人間がほとんどまたはまったく監督なしで学習し、強力な分布外の一般化が可能であるという疑わしい主張によって動機付けられました。ここでは、自然界の学習と監督についての洞察をレビューし、監督または誘導バイアスなしでは学習と一般化は不可能であるという概念を再検討し、名前で呼ぶだけでより良い進歩を遂げると主張します。
The renaissance of artificial neural networks was catalysed by the success of classification models, tagged by the community with the broader term supervised learning. The extraordinary results gave rise to a hype loaded with ambitious promises and overstatements. Soon the community realised that the success owed much to the availability of thousands of labelled examples and supervised learning went, for many, from glory to shame: Some criticised deep learning as a whole and others proclaimed that the way forward had to be alternatives to supervised learning: predictive, unsupervised, semi-supervised and, more recently, self-supervised learning. However, all these seem brand names, rather than actual categories of a theoretically grounded taxonomy. Moreover, the call to banish supervised learning was motivated by the questionable claim that humans learn with little or no supervision and are capable of robust out-of-distribution generalisation. Here, we review insights about learning and supervision in nature, revisit the notion that learning and generalisation are not possible without supervision or inductive biases and argue that we will make better progress if we just call it by its name.
updated: Tue Jun 22 2021 18:18:44 GMT+0000 (UTC)
published: Fri Dec 04 2020 11:13:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト