arXiv reaDer
On the Measure of Intelligence
よりインテリジェントでより人間に似た人工システムに向けて意図的な進歩を遂げるには、適切なフィードバック信号に従う必要があります:2つのシステム間の比較と、人間。過去100年にわたって、心理学とAIの両方の分野で、知能を定義および測定する試みが豊富にありました。これらの定義と評価アプローチを要約し、批判的に評価すると同時に、暗黙のうちにそれらを導いた知性の2つの歴史的概念を明らかにします。実際には、現代のAIコミュニティは、ボードゲームやビデオゲームなどの特定のタスクでAIと人間が示すスキルを比較することで、依然としてベンチマークインテリジェンスに引き寄せられています。スキルは事前の知識と経験によって大きく調整されているため、特定のタスクでスキルを測定するだけではインテリジェンスが不足すると主張します。これは、システム自体の一般化力を隠します。次に、アルゴリズム情報理論に基づく知性の新しい正式な定義を明確にし、知性をスキル習得の効率として説明し、範囲、一般化の難易度、事前、および経験の概念を強調します。この定義を使用して、一般的なAIベンチマークがどのように見えるかについての一連のガイドラインを提案します。最後に、これらのガイドライン、抽象化および推論コーパス(ARC)に厳密に準拠したベンチマークを提示します。 ARCは、人間のような形態の一般的な流体知能を測定するために使用でき、AIシステムと人間の間の一般的な知能の公正な比較を可能にすると主張します。
To make deliberate progress towards more intelligent and more human-like artificial systems, we need to be following an appropriate feedback signal: we need to be able to define and evaluate intelligence in a way that enables comparisons between two systems, as well as comparisons with humans. Over the past hundred years, there has been an abundance of attempts to define and measure intelligence, across both the fields of psychology and AI. We summarize and critically assess these definitions and evaluation approaches, while making apparent the two historical conceptions of intelligence that have implicitly guided them. We note that in practice, the contemporary AI community still gravitates towards benchmarking intelligence by comparing the skill exhibited by AIs and humans at specific tasks such as board games and video games. We argue that solely measuring skill at any given task falls short of measuring intelligence, because skill is heavily modulated by prior knowledge and experience: unlimited priors or unlimited training data allow experimenters to "buy" arbitrary levels of skills for a system, in a way that masks the system's own generalization power. We then articulate a new formal definition of intelligence based on Algorithmic Information Theory, describing intelligence as skill-acquisition efficiency and highlighting the concepts of scope, generalization difficulty, priors, and experience. Using this definition, we propose a set of guidelines for what a general AI benchmark should look like. Finally, we present a benchmark closely following these guidelines, the Abstraction and Reasoning Corpus (ARC), built upon an explicit set of priors designed to be as close as possible to innate human priors. We argue that ARC can be used to measure a human-like form of general fluid intelligence and that it enables fair general intelligence comparisons between AI systems and humans.
updated: Mon Nov 25 2019 13:02:04 GMT+0000 (UTC)
published: Tue Nov 05 2019 00:31:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト