この作業では、ミニバッチトリミングと呼ばれる新しい戦略を介して、ニューラルネットワークモデルの学習中にトレーニングの難易度を徐々に上げることを提案します。この戦略により、オプティマイザーは、トレーニングの後半の段階で、現在のミニバッチで損失が最も大きいサンプルとして識別される、より困難なサンプルに焦点を当てることができます。この戦略は、既存のトレーニングパイプラインに統合するのが非常に簡単であり、ネットワークモデルを変更する必要はありません。いくつかの画像分類問題に関する実験は、ミニバッチトリミングがトレーニングされたモデルの一般化能力(最終テストエラーを介して測定)を向上させることができることを示しています。
In this work, we propose to progressively increase the training difficulty during learning a neural network model via a novel strategy which we call mini-batch trimming. This strategy makes sure that the optimizer puts its focus in the later training stages on the more difficult samples, which we identify as the ones with the highest loss in the current mini-batch. The strategy is very easy to integrate into an existing training pipeline and does not necessitate a change of the network model. Experiments on several image classification problems show that mini-batch trimming is able to increase the generalization ability (measured via final test error) of the trained model.