自動視覚認識の興味深い開発は、画像に客観的なラベルを割り当てることができないが、それでも画像に関する人間の判断を反映する注釈を収集することが可能なタスクの出現です。これらのタスクの機械学習ベースの予測子は、アノテーターの動作をモデル化する教師ありトレーニングに依存しています。つまり、画像に対する平均的な人の判断はどうなるでしょうか。このタイプの作業、特に人間の行動との不一致が倫理的失効につながる可能性があるアプリケーションの重要な未解決の質問は、訓練された予測子の認識論的不確実性、つまり予測子のモデルから生じる不確実性をどのように評価するかです。予測子の内部構造にとらわれない、この体制でブラックボックス予測子を評価するためのベイズフレームワークを提案します。フレームワークは、条件付き分布を近似し、予測とそのパフォーマンスの測定値の信頼区間を生成することにより、人間のラベルに関して予測子から生じる認識論的不確実性を推定する方法を指定します。このフレームワークは、人間の主観的な判断を使用する4つの画像分類タスク(顔の美しさの評価、社会的属性の割り当て、見かけの年齢の推定、あいまいなシーンのラベル付け)に正常に適用されます。
An interesting development in automatic visual recognition has been the emergence of tasks where it is not possible to assign objective labels to images, yet still feasible to collect annotations that reflect human judgements about them. Machine learning-based predictors for these tasks rely on supervised training that models the behavior of the annotators, i.e., what would the average person's judgement be for an image? A key open question for this type of work, especially for applications where inconsistency with human behavior can lead to ethical lapses, is how to evaluate the epistemic uncertainty of trained predictors, i.e., the uncertainty that comes from the predictor's model. We propose a Bayesian framework for evaluating black box predictors in this regime, agnostic to the predictor's internal structure. The framework specifies how to estimate the epistemic uncertainty that comes from the predictor with respect to human labels by approximating a conditional distribution and producing a credible interval for the predictions and their measures of performance. The framework is successfully applied to four image classification tasks that use subjective human judgements: facial beauty assessment, social attribute assignment, apparent age estimation, and ambiguous scene labeling.