arXiv reaDer
ルンゲ・クッタ法と組み合わせた畳み込みニューラル ネットワーク
Convolutional Neural Networks combined with Runge-Kutta Methods
畳み込みニューラル ネットワークは、ネットワークのフォワード パスが動的システムの軌跡と見なすことができるため、動的システムを解くための数値的手法を使用して構築できます。ただし、数値ソルバーに基づく既存のモデルは、暗黙的な方法の反復を避けることができないため、推論時にモデルが非効率になります。この論文では、活性化前の Residual Networks (ResNets) とそのバリアントを動的システムの観点から再解釈します。暗黙的なルンゲクッタ法の反復がこれらのモデルのトレーニングに融合されていると考えています。さらに、より高い効率を達成するために、高次のルンゲクッタ法に基づいてネットワークモデルを構築するための新しいアプローチを提案します。私たちが提案するモデルは、Runge-Kutta Convolutional Neural Networks (RKCNN) と呼ばれます。 RKCNN は、複数のベンチマーク データセットで評価されます。実験結果は、RKCNN が他の動的システム ネットワーク モデルよりもはるかに優れていることを示しています。それらは、はるかに少ないリソースでより高い精度を実現します。また、動的システムの数値的手法に基づいて、ネットワーク モデルのファミリを拡張します。
A convolutional neural network can be constructed using numerical methods for solving dynamical systems, since the forward pass of the network can be regarded as a trajectory of a dynamical system. However, existing models based on numerical solvers cannot avoid the iterations of implicit methods, which makes the models inefficient at inference time. In this paper, we reinterpret the pre-activation Residual Networks (ResNets) and their variants from the dynamical systems view. We consider that the iterations of implicit Runge-Kutta methods are fused into the training of these models. Moreover, we propose a novel approach to constructing network models based on high-order Runge-Kutta methods in order to achieve higher efficiency. Our proposed models are referred to as the Runge-Kutta Convolutional Neural Networks (RKCNNs). The RKCNNs are evaluated on multiple benchmark datasets. The experimental results show that RKCNNs are vastly superior to other dynamical system network models: they achieve higher accuracy with much fewer resources. They also expand the family of network models based on numerical methods for dynamical systems.
updated: Fri Sep 09 2022 13:56:00 GMT+0000 (UTC)
published: Sat Feb 24 2018 10:31:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト