arXiv reaDer
連続深層均衡モデル: ニューラル ODE を無限に統合することで、ニューラル ODE をより高速にトレーニングします。
Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity
暗黙的なモデルは、レイヤーの定義をそのソリューション プロセスの記述から分離します。暗黙的なレイヤーにより、深度などの機能を新しいシナリオや入力に自動的に適応させることができますが、この適応性により、計算コストの予測が困難になります。この原稿では、無限時間ニューラル ODE に関してメソッドを再定義することにより、DEQ の「暗黙性」を高めます。これにより、逆説的に、標準ニューラル ODE のトレーニング コストが 2 ~ 4 倍減少します。さらに、次の質問に対処します。 : 明示的な層の計算コストを削減しながら、暗黙的な層の堅牢性を同時に達成する方法はありますか?これを解決するために、Skip および Skip Reg. DEQ を開発します。予測に続いて暗黙の修正. この明示的な予測子のトレーニングは無料であり、トレーニング時間を 1.11 ~ 3.19 × 短縮することさえあることを示します. 一緒に, この原稿は、暗黙的および明示的な深層学習の二分法を橋渡しすることで、両方の手法の利点を組み合わせることができる方法を示しています. .
Implicit models separate the definition of a layer from the description of its solution process. While implicit layers allow features such as depth to adapt to new scenarios and inputs automatically, this adaptivity makes its computational expense challenging to predict. In this manuscript, we increase the ``implicitness" of the DEQ by redefining the method in terms of an infinite time neural ODE, which paradoxically decreases the training cost over a standard neural ODE by 2 - 4 ×. Additionally, we address the question: is there a way to simultaneously achieve the robustness of implicit layers while allowing the reduced computational expense of an explicit layer? To solve this, we develop Skip and Skip Reg. DEQ, an implicit-explicit (IMEX) layer that simultaneously trains an explicit prediction followed by an implicit correction. We show that training this explicit predictor is free and even decreases the training time by 1.11 - 3.19 ×. Together, this manuscript shows how bridging the dichotomy of implicit and explicit deep learning can combine the advantages of both techniques.
updated: Wed Mar 01 2023 15:38:54 GMT+0000 (UTC)
published: Fri Jan 28 2022 16:51:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト