arXiv reaDer
Learning to Auto Weight: Entirely Data-driven and Highly Efficient Weighting Framework
 重み付けアルゴリズムの例は、トレーニングバイアス問題に対する効果的なソリューションですが、以前のほとんどの典型的な方法は通常、人間の知識に限定されており、ハイパーパラメーターの面倒なチューニングが必要です。この論文では、Learning to Auto Weight(LAW)と呼ばれる新しい重み付けフレームワークの例を提案します。提案されたフレームワークは、ステップ依存の重み付けポリシーを適応的に見つけ、データセットに関する仮定や事前の知識なしにターゲットネットワークと共同でトレーニングできます。 3つの主要コンポーネントで構成されています。ステージベースの検索戦略(3SM)は、完全なトレーニングプロセスで巨大な検索スペースを縮小するために採用されています。重複ネットワーク報酬(DNR)は、検索プロセス中にランダム性を除去することにより、より正確な監視を提供します。完全データ更新(FDU)により、更新効率がさらに向上します。実験結果は、標準のトレーニングパイプラインよりもLAWが検討した重み付けポリシーの優位性を示しています。 LAWは、ベースラインと比較して、バイアスのかかったCIFARとImageNetの両方ではるかに優れた精度を達成する、より良い重み付けスケジュールを見つけることができます。
Example weighting algorithm is an effective solution to the training bias problem, however, most previous typical methods are usually limited to human knowledge and require laborious tuning of hyperparameters. In this paper, we propose a novel example weighting framework called Learning to Auto Weight (LAW). The proposed framework finds step-dependent weighting policies adaptively, and can be jointly trained with target networks without any assumptions or prior knowledge about the dataset. It consists of three key components: Stage-based Searching Strategy (3SM) is adopted to shrink the huge searching space in a complete training process; Duplicate Network Reward (DNR) gives more accurate supervision by removing randomness during the searching process; Full Data Update (FDU) further improves the updating efficiency. Experimental results demonstrate the superiority of weighting policy explored by LAW over standard training pipeline. Compared with baselines, LAW can find a better weighting schedule which achieves much more superior accuracy on both biased CIFAR and ImageNet.
updated: Tue Nov 26 2019 05:39:17 GMT+0000 (UTC)
published: Mon May 27 2019 09:05:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト