世界について私たちが抱く多くの質問には、単一の明確な答えはありませんが、機械学習における典型的なヒューマン アノテーションの設定では、すべてのタスクのすべての例に対して単一のグラウンド トゥルース ラベルが存在する必要があると想定されています。現実と実践の間の乖離は、特に本質的に曖昧さがあり、異なる主観的判断の範囲が広い場合に顕著です。ここでは、マシン ビジョン モデルのトレーニングに使用される画像にラベルを付けるという行動タスクにおける人間の主観的な判断の影響を調べます。我々は、(i) 画像内のラベルの描写、(ii) 評価者の背景、および (iii) タスクの定義から生じる 3 つの主な曖昧さの原因を特定します。実験結果に基づいて、機械学習データセットにおけるラベルの曖昧さを処理するためのベスト プラクティスを提案します。
Many questions that we ask about the world do not have a single clear answer, yet typical human annotation set-ups in machine learning assume there must be a single ground truth label for all examples in every task. The divergence between reality and practice is stark, especially in cases with inherent ambiguity and where the range of different subjective judgments is wide. Here, we examine the implications of subjective human judgments in the behavioral task of labeling images used to train machine vision models. We identify three primary sources of ambiguity arising from (i) depictions of labels in the images, (ii) raters' backgrounds, and (iii) the task definition. On the basis of the empirical results, we suggest best practices for handling label ambiguity in machine learning datasets.