人工ニューラルネットワークは、増え続けるタスクで最先端の機能を実行し、今日では、信じられないほど多種多様なタスクを解決するために使用されています。トレーニングデータにバイアスが存在するなど、これらのモデルの一般化機能に疑問を呈する問題があります。この作業では、深いモデルが不要なバイアスを学習するのを防ぐことを目的とした正則化戦略であるEnDを提案します。特に、ディープニューラルネットワークの特定のポイントに「情報のボトルネック」を挿入します。ここで、バイアスに関する情報を解きほぐし、トレーニングタスクに役立つ情報をモデルの残りの部分に転送します。 EnDの大きな利点の1つは、トレーニングされたモデルに直接適用される正則化であるため、追加のトレーニングの複雑さ(モデル内のデコーダーや追加のレイヤーなど)を必要としないことです。私たちの実験は、EnDが偏りのないテストセットの一般化を効果的に改善し、放射線画像からCOVID-19検出の隠れたバイアスを取り除くなどの実際のシナリオに効果的に適用できることを示しています。
Artificial neural networks perform state-of-the-art in an ever-growing number of tasks, and nowadays they are used to solve an incredibly large variety of tasks. There are problems, like the presence of biases in the training data, which question the generalization capability of these models. In this work we propose EnD, a regularization strategy whose aim is to prevent deep models from learning unwanted biases. In particular, we insert an "information bottleneck" at a certain point of the deep neural network, where we disentangle the information about the bias, still letting the useful information for the training task forward-propagating in the rest of the model. One big advantage of EnD is that we do not require additional training complexity (like decoders or extra layers in the model), since it is a regularizer directly applied on the trained model. Our experiments show that EnD effectively improves the generalization on unbiased test sets, and it can be effectively applied on real-case scenarios, like removing hidden biases in the COVID-19 detection from radiographic images.