arXiv reaDer
Self-Supervised Generalisation with Meta Auxiliary Learning
 補助タスクを使用して学習すると、主要タスクの一般化能力を向上させることができます。ただし、これには、補助データに手動でラベルを付けるという犠牲が伴います。補助タスクの適切なラベルを自動的に学習する新しい方法を提案します。これにより、監視された学習タスクをさらにデータにアクセスすることなく改善できます。アプローチは、2つのニューラルネットワークをトレーニングすることです。補助ラベルを予測するラベル生成ネットワークと、補助タスクと一緒に主要タスクをトレーニングするマルチタスクネットワークです。ラベル生成ネットワークの損失には、マルチタスクネットワークの損失が組み込まれているため、2つのネットワーク間のこの相互作用は、二重勾配によるメタ学習の形式と見なすことができます。提案された方法であるMeta AuXiliary Learning(MAXL)は、追加のデータを必要とせずに、7つの画像データセットでシングルタスク学習よりも優れていることを示しています。また、MAXLは、補助ラベルを生成するための他のいくつかのベースラインよりも優れており、人間が定義した補助ラベルと比較した場合でも競争力があることを示しています。私たちの方法の自己監督の性質は、自動化された一般化への有望な新しい方向につながります。ソースコードはにあります。
Learning with auxiliary tasks can improve the ability of a primary task to generalise. However, this comes at the cost of manually labelling auxiliary data. We propose a new method which automatically learns appropriate labels for an auxiliary task, such that any supervised learning task can be improved without requiring access to any further data. The approach is to train two neural networks: a label-generation network to predict the auxiliary labels, and a multi-task network to train the primary task alongside the auxiliary task. The loss for the label-generation network incorporates the loss of the multi-task network, and so this interaction between the two networks can be seen as a form of meta learning with a double gradient. We show that our proposed method, Meta AuXiliary Learning (MAXL), outperforms single-task learning on 7 image datasets, without requiring any additional data. We also show that MAXL outperforms several other baselines for generating auxiliary labels, and is even competitive when compared with human-defined auxiliary labels. The self-supervised nature of our method leads to a promising new direction towards automated generalisation. Source code can be found at
updated: Tue Nov 26 2019 20:37:33 GMT+0000 (UTC)
published: Fri Jan 25 2019 15:46:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト