arXiv reaDer
VisAlign: AI と人間の視覚認識の一致度を測定するためのデータセット
VisAlign: Dataset for Measuring the Degree of Alignment between AI and Humans in Visual Perception
AI の調整とは、人間が意図した目標、好み、または倫理原則に向かって動作するモデルを指します。大規模な深層学習モデルのほとんどがブラックボックスとして機能し、手動で制御できないことを考えると、モデルと人間の類似性を分析することは、AI の安全性を確保するための代替手段となる可能性があります。この論文では、モデルと人間の視覚認識の一致、さらに AI と人間の視覚の一致に焦点を当てます。具体的には、機械認識の基本的なタスクである画像分類の観点から、AI と人間の視覚的整合性を測定するための新しいデータセットを提案します。 AI と人間の視覚的一致を評価するには、データセットには、現実世界で発生する可能性のあるさまざまなシナリオを含むサンプルが含まれており、人間の知覚ラベルが付いている必要があります。私たちのデータセットは、画像内の視覚情報の量と明瞭さに基づいて、Must-Act (つまり、Must-Classify)、Must-Abstain、Uncertain の 3 つのサンプル グループで構成され、さらに 8 つのカテゴリに分類されます。すべてのサンプルには金色の人間知覚ラベルが付いています。不確実な(ひどく不鮮明な)サンプルラベルもクラウドソーシング経由で入手しました。私たちのデータセットの妥当性は、サンプリング理論、調査設計に関連する統計理論、および関連分野の専門家によって検証されます。私たちのデータセットを使用して、5 つの一般的な視覚認識モデルと 7 つの棄権方法の視覚的な整合性と信頼性を分析します。コードとデータは https://github.com/jiyounglee-0523/VisAlign で入手できます。
AI alignment refers to models acting towards human-intended goals, preferences, or ethical principles. Given that most large-scale deep learning models act as black boxes and cannot be manually controlled, analyzing the similarity between models and humans can be a proxy measure for ensuring AI safety. In this paper, we focus on the models' visual perception alignment with humans, further referred to as AI-human visual alignment. Specifically, we propose a new dataset for measuring AI-human visual alignment in terms of image classification, a fundamental task in machine perception. In order to evaluate AI-human visual alignment, a dataset should encompass samples with various scenarios that may arise in the real world and have gold human perception labels. Our dataset consists of three groups of samples, namely Must-Act (i.e., Must-Classify), Must-Abstain, and Uncertain, based on the quantity and clarity of visual information in an image and further divided into eight categories. All samples have a gold human perception label; even Uncertain (severely blurry) sample labels were obtained via crowd-sourcing. The validity of our dataset is verified by sampling theory, statistical theories related to survey design, and experts in the related fields. Using our dataset, we analyze the visual alignment and reliability of five popular visual perception models and seven abstention methods. Our code and data is available at https://github.com/jiyounglee-0523/VisAlign.
updated: Fri Oct 20 2023 04:24:25 GMT+0000 (UTC)
published: Thu Aug 03 2023 04:04:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト