arXiv reaDer
Naive Few-Shot Learning: シーケンスの一貫性評価
Naive Few-Shot Learning: Sequence Consistency Evaluation
認知心理学者は、流動性知能という用語をよく使用して、事前のトレーニングなしで新しいタスクを解決する人間の能力を説明します。人間とは対照的に、ディープ ニューラル ネットワークは、多数の関連する例を使用した広範な (事前) トレーニングの後にのみ、認知タスクを実行できます。認知科学における流体知能研究に動機付けられて、このギャップに対処するために使用できるシーケンス一貫性評価 (SCE) と呼ばれるベンチマーク タスクを構築しました。 SCE タスクを解くには、シーケンスから単純なルールを抽出する能力が必要です。これは、人間の場合、さまざまな知能テストを解くために必要な基本的な計算です。 SCE タスクで、トレーニングされていない (単純な) 深層学習モデルをテストしました。具体的には、潜在的な関係を学習できる 2 つのネットワーク、Relation Networks (RN) と Contrastive Predictive Coding (CPC) をテストしました。潜在的な関係に因果構造を課す後者のパフォーマンスが優れていることがわかりました。次に、シーケンスの単純な少数ショット学習を、事前のトレーニングなしで、視覚と聴覚の 2 つの異なるタスクで異常検出に使用できることを示します。
Cognitive psychologists often use the term fluid intelligence to describe the ability of humans to solve novel tasks without any prior training. In contrast to humans, deep neural networks can perform cognitive tasks only after extensive (pre-)training with a large number of relevant examples. Motivated by fluid intelligence research in the cognitive sciences, we built a benchmark task which we call sequence consistency evaluation (SCE) that can be used to address this gap. Solving the SCE task requires the ability to extract simple rules from sequences, a basic computation that in humans, is required for solving various intelligence tests. We tested untrained (naive) deep learning models in the SCE task. Specifically, we tested two networks that can learn latent relations, Relation Networks (RN) and Contrastive Predictive Coding (CPC). We found that the latter, which imposes a causal structure on the latent relations performs better. We then show that naive few-shot learning of sequences can be successfully used for anomaly detection in two different tasks, visual and auditory, without any prior training.
updated: Wed Aug 03 2022 07:23:49 GMT+0000 (UTC)
published: Tue May 24 2022 12:00:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト