多層カーネルマシン(MKM)を使用したカーネルベースのディープラーニングは、Y.ChoとLKSaulによってsaulで提案されました。 MKMでは、カーネルPCAベースの特徴抽出のために、レイヤーで1つのカーネル(アークコサインカーネル)のみを使用しました。教師なし学習戦略に従って、多くのカーネルの凸結合をとることにより、各レイヤーで複数のカーネルを使用することを提案します。経験的研究は、MNISTデータセットの画像背景にランダムノイズを追加することによって生成されたmnist-back-rand、mnist-back-image、およびmnist-rot-back-imageデータセットで実施されます。実験結果は、MKMでMKLを使用すると、生データの表現が向上し、分類器のパフォーマンスが向上することを示しています。
Kernel based Deep Learning using multi-layer kernel machines(MKMs) was proposed by Y.Cho and L.K. Saul in saul. In MKMs they used only one kernel(arc-cosine kernel) at a layer for the kernel PCA-based feature extraction. We propose to use multiple kernels in each layer by taking a convex combination of many kernels following an unsupervised learning strategy. Empirical study is conducted on mnist-back-rand, mnist-back-image and mnist-rot-back-image datasets generated by adding random noise in the image background of MNIST dataset. Experimental results indicate that using MKL in MKMs earns a better representation of the raw data and improves the classifier performance.