arXiv reaDer
Constructing Multiple Tasks for Augmentation: Improving Neural Image Classification With K-means Features
 マルチタスク学習(MTL)はかなりの注目を集めており、多くの深層学習アプリケーションは、複数の目的を持つMTLの恩恵を受けています。ただし、複数の関連タスクを構築することは難しく、データセットのトレーニングに使用できるタスクは1つだけです。この問題に取り組むために、教師なしクラスタリングを使用して、ラベルなしデータまたは既存のラベル付きデータからさまざまな補助タスクを構築するというアイデアを検討しました。これらの新しく構築されたタスクの一部は、特定の人間固有の属性に対応するセマンティックな意味を示すことができましたが、一部は理想的ではありませんでした。メインタスクに対する非理想的な補助タスクの影響を効果的に低減するために、メタ最適化目標を設定しながら、補助タスクの共有隠れ層を訓練する新しいメタ学習ベースのマルチタスク学習アプローチをさらに提案しましたメインタスクの損失を最小限に抑え、最適化の方向がメインタスクの改善につながるようにしました。 5つの画像データセットにわたる実験結果は、提案された方法が、既存の単一タスク学習、半教師あり学習、およびOmniglotデータセットで9%以上の改善を含むいくつかのデータ増強方法を大幅に上回ることを示しました。
Multi-task learning (MTL) has received considerable attention, and numerous deep learning applications benefit from MTL with multiple objectives. However, constructing multiple related tasks is difficult, and sometimes only a single task is available for training in a dataset. To tackle this problem, we explored the idea of using unsupervised clustering to construct a variety of auxiliary tasks from unlabeled data or existing labeled data. We found that some of these newly constructed tasks could exhibit semantic meanings corresponding to certain human-specific attributes, but some were non-ideal. In order to effectively reduce the impact of non-ideal auxiliary tasks on the main task, we further proposed a novel meta-learning-based multi-task learning approach, which trained the shared hidden layers on auxiliary tasks, while the meta-optimization objective was to minimize the loss on the main task, ensuring that the optimizing direction led to an improvement on the main task. Experimental results across five image datasets demonstrated that the proposed method significantly outperformed existing single task learning, semi-supervised learning, and some data augmentation methods, including an improvement of more than 9% on the Omniglot dataset.
updated: Mon Nov 18 2019 10:04:08 GMT+0000 (UTC)
published: Mon Nov 18 2019 10:04:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト