トレーニングデータセットは、全体的なパフォーマンスに直接影響を与える畳み込みニューラルネットワークベースのアルゴリズムにとって重要です。そのため、バイアスのレベルが最小である適切に構造化されたデータセットを使用することが常に望ましいです。この論文では、スコアベースのリサンプリング(SBR)と呼ばれる、ドメインに依存しない新しいアプローチを提案し、そのトレーニングセットで得られたモデル予測スコアに基づいて、元のトレーニングデータセットの過小評価されたサンプルを特定しました。私たちの方法では、トレーニングが完了すると、同じCNNモデルを使用して、独自のトレーニングサンプルを推測し、予測スコアを取得し、予測とグラウンドトゥルースの間の距離に基づいて、グラウンドトゥルースから遠く離れたサンプルを識別します。元のトレーニングセットでそれらを補強します。シグモイド関数の温度項は、スコアをより適切に区別するために減少します。実験的評価のために、性別分類用に1つのKaggleデータセットを選択しました。最初に、比較的標準的な構造のCNNベースの分類器を使用し、トレーニング画像でトレーニングし、元のデータセットの提供された検証サンプルで評価しました。次に、明るい男性、明るい女性、暗い男性、暗い女性のグループで構成されるまったく新しいテストデータセットで評価しました。得られた精度はさまざまであり、元のデータセットの特定のグループに対するカテゴリバイアスの存在が明らかになりました。続いて、提案されたアプローチに基づいてリサンプリングした後、モデルをトレーニングしました。以前に提案された変分オートエンコーダ(VAE)ベースのアルゴリズムと私たちの方法を比較しました。得られた結果は、特定のグループを分類する際の分類バイアスを減らすために、元のデータセットの中から過小評価されているサンプルを特定する提案された方法の妥当性を確認しました。性別分類についてテストされていますが、提案されたアルゴリズムは、CNNベースのタスクのデータセット構造を調査するために使用できます。
Training datasets are crucial for convolutional neural network-based algorithms, which directly impact their overall performance. As such, using a well-structured dataset that has minimum level of bias is always desirable. In this paper, we proposed a novel, domain-independent approach, called score-based resampling (SBR), to locate the under-represented samples of the original training dataset based on the model prediction scores obtained with that training set. In our method, once trained, we use the same CNN model to infer on its own training samples, obtain prediction scores, and based on the distance between predicted and ground-truth, we identify samples that are far away from their ground-truth and augment them in the original training set. The temperature term of the Sigmoid function is decreased to better differentiate scores. For experimental evaluation, we selected one Kaggle dataset for gender classification. We first used a CNN-based classifier with relatively standard structure, trained on the training images, and evaluated on the provided validation samples of the original dataset. Then, we assessed it on a totally new test dataset consisting of light male, light female, dark male, and dark female groups. The obtained accuracies varied, revealing the existence of categorical bias against certain groups in the original dataset. Subsequently, we trained the model after resampling based on our proposed approach. We compared our method with a previously proposed variational autoencoder (VAE) based algorithm. The obtained results confirmed the validity of our proposed method regrading identifying under-represented samples among original dataset to decrease categorical bias of classifying certain groups. Although tested for gender classification, the proposed algorithm can be used for investigating dataset structure of any CNN-based tasks.