ニューラルネットワークは、単一の画像から視覚世界について何を学ぶことができますか?明らかに、存在する可能性のある多数のオブジェクト、シーン、および照明条件を含めることはできませんが、すべての可能な256 ^(3x224x224)224サイズの正方形の画像のスペース内にありますが、それでも自然な画像の強力な優先順位を提供する可能性があります。この仮説を分析するために、監督下で事前に訓練された教師からの知識蒸留によって、単一の画像を使用して神経ネットワークをゼロから訓練するためのフレームワークを開発します。これにより、上記の質問に対する答えは次のようになります。「驚くべきことに、たくさん」。定量的には、CIFAR-10 / 100で94%/ 74%、ImageNetで66%のトップ1の精度が見つかり、この方法をビデオとオーディオに拡張することで、UCF-101で77%、SpeechCommandsで84%になります。広範な分析では、拡張の効果、ソースイメージの選択、ネットワークアーキテクチャを解きほぐし、パンダを見たことがないネットワークで「パンダニューロン」を発見します。この作業は、1つの画像を使用して数千のオブジェクトクラスに外挿できることを示し、拡張と画像の基本的な相互作用に関する新たな研究課題を動機付けます。
What can neural networks learn about the visual world from a single image? While it obviously cannot contain the multitudes of possible objects, scenes and lighting conditions that exist - within the space of all possible 256^(3x224x224) 224-sized square images, it might still provide a strong prior for natural images. To analyze this hypothesis, we develop a framework for training neural networks from scratch using a single image by means of knowledge distillation from a supervisedly pretrained teacher. With this, we find that the answer to the above question is: 'surprisingly, a lot'. In quantitative terms, we find top-1 accuracies of 94%/74% on CIFAR-10/100, 66% on ImageNet, and by extending this method to video and audio, 77% on UCF-101 and 84% on SpeechCommands. In extensive analyses we disentangle the effect of augmentations, choice of source image and network architectures and also discover "panda neurons" in networks that have never seen a panda. This work shows that one image can be used to extrapolate to thousands of object classes and motivates a renewed research agenda on the fundamental interplay of augmentations and image.