最近の一連の作業では、さまざまな形式の畳み込みカーネル法が、CIFAR-10などのデータセット上の標準の教師あり深い畳み込みネットワークと競合し、理論的分析に適した精度で87〜90%の範囲の精度が得られることが示されました。この作業では、畳み込みカーネル法で優れたパフォーマンスを得るのに重要な、データに依存する特徴抽出ステップの重要性を強調します。このステップは通常、パッチのホワイト化された辞書に対応し、データ駆動型畳み込みカーネル法を生み出します。私たちはその効果を広範囲に研究し、それがこれらのメソッドの高性能の重要な要素であることを示しています。具体的には、画像パッチの単一層とそれに続く線形分類器に基づく、このようなカーネル法の最も単純なインスタンスの1つが、以前のより洗練された畳み込みカーネル法と同じ範囲でCIFAR-10の分類精度をすでに取得していることを示します。この方法を挑戦的なImageNetデータセットにスケーリングし、そのような単純なアプローチが既存のすべての非学習表現方法を超える可能性があることを示します。これは、ImageNetで畳み込みカーネルモデルの調査を開始する、表現学習メソッドを使用しないオブジェクト認識の新しいベースラインです。使用した辞書を分析するための実験を行います。アブレーションは、それらが低次元の特性を示すことを示しています。
A recent line of work showed that various forms of convolutional kernel methods can be competitive with standard supervised deep convolutional networks on datasets like CIFAR-10, obtaining accuracies in the range of 87-90% while being more amenable to theoretical analysis. In this work, we highlight the importance of a data-dependent feature extraction step that is key to the obtain good performance in convolutional kernel methods. This step typically corresponds to a whitened dictionary of patches, and gives rise to a data-driven convolutional kernel methods. We extensively study its effect, demonstrating it is the key ingredient for high performance of these methods. Specifically, we show that one of the simplest instances of such kernel methods, based on a single layer of image patches followed by a linear classifier is already obtaining classification accuracies on CIFAR-10 in the same range as previous more sophisticated convolutional kernel methods. We scale this method to the challenging ImageNet dataset, showing such a simple approach can exceed all existing non-learned representation methods. This is a new baseline for object recognition without representation learning methods, that initiates the investigation of convolutional kernel models on ImageNet. We conduct experiments to analyze the dictionary that we used, our ablations showing they exhibit low-dimensional properties.