arXiv reaDer
バイアスされた表現を用いたバイアスのない表現の学習
Learning De-biased Representations with Biased Representations
多くの機械学習アルゴリズムは、単一のソースからのデータをトレーニングセットとテストセットに分割することによってトレーニングおよび評価されます。分布内学習シナリオへのそのような焦点は興味深い進歩につながっていますが、モデルが成功する予測(たとえば、スノーモービルを認識するための雪の合図を使用する)のショートカットとしてデータセットのバイアスに依存しているかどうかを判断できず、その結果、バイアスモデルがバイアスが別のクラスにシフトするとき、一般化に失敗します。クロスバイアス一般化問題は、データ収集コスト(たとえば、砂漠でのスノーモービルの画像の収集)と定量化の困難さ、またはそもそもバイアスを表現する。この作業では、設計によってバイアスがかけられた一連の表現とは異なるように、バイアスをかけられていない表現をトレーニングする新しいフレームワークを提案します。この戦略は、バイアスを定義して定量化するよりも、バイアスされた表現のセットを定義する方がはるかに簡単な多くのシナリオで実現可能です。私たちは、さまざまな合成バイアスと現実世界のバイアスにわたるメソッドの有効性を示しています。私たちの実験は、この方法がモデルにバイアスのショートカットを適用しないようにし、その結果、一般化が改善されることを示しています。ソースコードはhttps://github.com/clovaai/rebiasで入手できます。
Many machine learning algorithms are trained and evaluated by splitting data from a single source into training and test sets. While such focus on in-distribution learning scenarios has led to interesting advancement, it has not been able to tell if models are relying on dataset biases as shortcuts for successful prediction (e.g., using snow cues for recognising snowmobiles), resulting in biased models that fail to generalise when the bias shifts to a different class. The cross-bias generalisation problem has been addressed by de-biasing training data through augmentation or re-sampling, which are often prohibitive due to the data collection cost (e.g., collecting images of a snowmobile on a desert) and the difficulty of quantifying or expressing biases in the first place. In this work, we propose a novel framework to train a de-biased representation by encouraging it to be different from a set of representations that are biased by design. This tactic is feasible in many scenarios where it is much easier to define a set of biased representations than to define and quantify bias. We demonstrate the efficacy of our method across a variety of synthetic and real-world biases; our experiments show that the method discourages models from taking bias shortcuts, resulting in improved generalisation. Source code is available at https://github.com/clovaai/rebias.
updated: Tue Jun 30 2020 11:51:02 GMT+0000 (UTC)
published: Mon Oct 07 2019 14:11:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト