arXiv reaDer
Naive Few-Shot Learning: 機械の流動的知性を明らかにする
Naive Few-Shot Learning: Uncovering the fluid intelligence of machines
このホワイト ペーパーでは、人間の流体知能 (事前のトレーニングなしで新しいタスクを解決する能力) と、通常は広範な事前トレーニングが必要なディープ ニューラル ネットワークのパフォーマンスとの間のギャップを埋めることを目指しました。人間では流動性知能を測定するために使用される知能テストを解くための重要な認知コンポーネントは、シーケンスの規則性を識別する能力です。これは、シーケンス整合性評価 (SCE) と呼ばれるベンチマーク タスクを構築する動機となりました。このタスクのソリューションには、シーケンスの規則性を識別する能力が必要です。ディープ ネットワークの実証済みの機能を考えると、広範なトレーニングの後にそのようなタスクを解決する能力が期待されます。しかし驚くべきことに、単一の最適化ステップを使用して単一の SCE でトレーニングされた単純な (ランダムに初期化された) 深層学習モデルでも、自明ではないバージョンのタスクを比較的うまく解決できることを示しています。調査結果を拡張して、事前のトレーニングなしで、視覚および聴覚モダリティにおける現実世界の異常検出タスクを解決します。これらの結果は、ディープ ネットワークの流体インテリジェント計算能力を示しています。流体知能機械を構築するための私たちの研究の意味について議論します。
In this paper, we aimed to help bridge the gap between human fluid intelligence - the ability to solve novel tasks without prior training - and the performance of deep neural networks, which typically require extensive prior training. An essential cognitive component for solving intelligence tests, which in humans are used to measure fluid intelligence, is the ability to identify regularities in sequences. This motivated us to construct a benchmark task, which we term sequence consistency evaluation (SCE), whose solution requires the ability to identify regularities in sequences. Given the proven capabilities of deep networks, their ability to solve such tasks after extensive training is expected. Surprisingly, however, we show that naive (randomly initialized) deep learning models that are trained on a single SCE with a single optimization step can still solve non-trivial versions of the task relatively well. We extend our findings to solve, without any prior training, real-world anomaly detection tasks in the visual and auditory modalities. These results demonstrate the fluid-intelligent computational capabilities of deep networks. We discuss the implications of our work for constructing fluid-intelligent machines.
updated: Thu Jan 26 2023 19:36:45 GMT+0000 (UTC)
published: Tue May 24 2022 12:00:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト