arXiv reaDer
連続深層均衡モデル: ニューラル ODE を無限に統合することで、ニューラル ODE をより高速にトレーニングします。
Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity
暗黙的なモデルは、レイヤーの定義をそのソリューション プロセスの記述から分離します。暗黙的なレイヤーにより、深度などの機能を新しいシナリオや入力に自動的に適応させることができますが、この適応性により、計算コストの予測が困難になります。この原稿では、無限時間ニューラル ODE の観点からメソッドを再定義することにより、DEQ の「暗黙性」を高めます。これにより、逆説的に標準ニューラル ODE のトレーニング コストが 2 ~ 4 倍減少します。さらに、明示的な層の計算コストを削減しながら、暗黙的な層の堅牢性を同時に達成する方法はありますか?という質問に対処します。これを解決するために、Skip と Skip Reg を開発しました。 DEQ は、明示的予測とそれに続く暗黙的修正を同時にトレーニングする暗黙的明示的 (IMEX) レイヤーです。この明示的な予測子のトレーニングは無料であり、トレーニング時間が 1.11 ~ 3.19 倍も短縮されることを示しています。一緒に、この原稿は、暗黙的および明示的な深層学習の二分法を橋渡しすることで、両方の手法の利点を組み合わせる方法を示しています。
Implicit models separate the definition of a layer from the description of its solution process. While implicit layers allow features such as depth to adapt to new scenarios and inputs automatically, this adaptivity makes its computational expense challenging to predict. In this manuscript, we increase the "implicitness" of the DEQ by redefining the method in terms of an infinite time neural ODE, which paradoxically decreases the training cost over a standard neural ODE by 2-4x. Additionally, we address the question: is there a way to simultaneously achieve the robustness of implicit layers while allowing the reduced computational expense of an explicit layer? To solve this, we develop Skip and Skip Reg. DEQ, an implicit-explicit (IMEX) layer that simultaneously trains an explicit prediction followed by an implicit correction. We show that training this explicit predictor is free and even decreases the training time by 1.11-3.19x. Together, this manuscript shows how bridging the dichotomy of implicit and explicit deep learning can combine the advantages of both techniques.
updated: Fri Mar 03 2023 16:34:22 GMT+0000 (UTC)
published: Fri Jan 28 2022 16:51:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト