ニューラル常微分方程式(ニューラルODE)は、ニューラルネットワークによって指定された常微分方程式を使用して隠れユニットの連続ダイナミクスを構築し、多くのタスクで有望な結果を示します。ただし、ニューラルODEは、画像認識タスクではまだうまく機能しません。考えられる理由は、ニューラルODEで一般的に使用されるワンホットエンコーディングベクトルが十分な監視情報を提供できないことです。画像認識タスクに適合する、より強力で堅牢なニューラルODEを構築するために、知識蒸留に基づく新しいトレーニングを提案します。特に、Neural ODEのトレーニングを教師と生徒の学習プロセスにモデル化します。このプロセスでは、ResNetsを教師モデルとして提案し、より豊富な監視情報を提供します。実験結果は、新しいトレーニング方法により、ニューラルODEの分類精度がCIFAR10で24%、SVHNで5%向上することを示しています。さらに、敵対的な例に対するロバスト性に対するニューラルODEの知識蒸留と期間の両方の影響についても定量的に説明します。実験的分析では、知識の蒸留を導入し、期間を延長することで、敵対的な例に対するニューラルODEの堅牢性を向上させることができると結論付けています。
Neural Ordinary Differential Equations (Neural ODEs) construct the continuous dynamics of hidden units using ordinary differential equations specified by a neural network, demonstrating promising results on many tasks. However, Neural ODEs still do not perform well on image recognition tasks. The possible reason is that the one-hot encoding vector commonly used in Neural ODEs can not provide enough supervised information. We propose a new training based on knowledge distillation to construct more powerful and robust Neural ODEs fitting image recognition tasks. Specially, we model the training of Neural ODEs into a teacher-student learning process, in which we propose ResNets as the teacher model to provide richer supervised information. The experimental results show that the new training manner can improve the classification accuracy of Neural ODEs by 24% on CIFAR10 and 5% on SVHN. In addition, we also quantitatively discuss the effect of both knowledge distillation and time horizon in Neural ODEs on robustness against adversarial examples. The experimental analysis concludes that introducing the knowledge distillation and increasing the time horizon can improve the robustness of Neural ODEs against adversarial examples.