arXiv reaDer
タスクに関係のないラベルから精製された特徴表現を学習する
Learning Purified Feature Representations from Task-irrelevant Labels
限られたデータを使用して一般化された経験的に効果的なモデルを学習することは、ディープニューラルネットワークにとって困難な作業です。この論文では、小規模なデータセットでモデルをトレーニングするときに、タスクに関係のないラベルから抽出されたタスクに関係のない特徴を活用するために、PurifiedLearningと呼ばれる新しい学習フレームワークを提案します。特に、タスクに関係のない情報の表現を使用して特徴表現を浄化し、分類の学習プロセスを容易にします。私たちの仕事は、PurifiedLearningの有効性を実証する確かな理論的分析と広範な実験に基づいています。私たちが証明した理論によると、PurifiedLearningはモデルに依存せず、必要なモデルに制限がないため、既存のディープニューラルネットワークと簡単に組み合わせてパフォーマンスを向上させることができます。このペーパーのソースコードは、再現性のために将来利用可能になる予定です。
Learning an empirically effective model with generalization using limited data is a challenging task for deep neural networks. In this paper, we propose a novel learning framework called PurifiedLearning to exploit task-irrelevant features extracted from task-irrelevant labels when training models on small-scale datasets. Particularly, we purify feature representations by using the expression of task-irrelevant information, thus facilitating the learning process of classification. Our work is built on solid theoretical analysis and extensive experiments, which demonstrate the effectiveness of PurifiedLearning. According to the theory we proved, PurifiedLearning is model-agnostic and doesn't have any restrictions on the model needed, so it can be combined with any existing deep neural networks with ease to achieve better performance. The source code of this paper will be available in the future for reproducibility.
updated: Sun Jul 10 2022 16:51:14 GMT+0000 (UTC)
published: Mon Feb 22 2021 12:50:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト