重要性の低いものを特定し、それらを学習プロセスから除外する無視による学習は、人間の学習において効果的な学習手法です。特定のことを無視することを学ぶことは人々が集中するのを助けるための強力なツールであることを示す心理学的研究がありました。この強力な学習手法を人間から借りて、機械の学習能力を向上させることができるかどうかを調査したいと考えています。無視による学習(LBI)と呼ばれる新しい学習アプローチを提案します。私たちのアプローチは、各例の無視変数を学習することにより、ターゲット分布から大きなドメインシフトがある事前トレーニングデータの例を自動的に識別し、それらを事前トレーニングプロセスから除外します。学習の3つの段階を含むLBIを定式化するための3レベルの最適化フレームワークを提案します。変数を無視することによって重み付けされた損失を最小化することによる事前トレーニング。微調整;検証の損失を最小限に抑えることにより、無視する変数を更新します。 LBI問題を解決するための効率的なアルゴリズムを開発します。さまざまなデータセットでの実験は、私たちの方法の有効性を示しています。
Learning by ignoring, which identifies less important things and excludes them from the learning process, is an effective learning technique in human learning. There has been psychological studies showing that learning to ignore certain things is a powerful tool for helping people focus. We are interested in investigating whether this powerful learning technique can be borrowed from humans to improve the learning abilities of machines. We propose a novel learning approach called learning by ignoring (LBI). Our approach automatically identifies pretraining data examples that have large domain shift from the target distribution by learning an ignoring variable for each example and excludes them from the pretraining process. We propose a three-level optimization framework to formulate LBI which involves three stages of learning: pretraining by minimizing the losses weighed by ignoring variables; finetuning; updating the ignoring variables by minimizing the validation loss. We develop an efficient algorithm to solve the LBI problem. Experiments on various datasets demonstrate the effectiveness of our method.