ディープラーニング(DL)は前例のない成功を収め、現在、全力で科学計算に参入しています。ただし、DLには普遍的な現象があります。それは、安定したニューラルネットワーク(NN)の存在を保証することが多い普遍的な近似特性にもかかわらず、不安定性です。次のパラドックスを示します。科学計算には基本的な条件数の問題があり、優れた近似品質でNNの存在を証明できますが、そのようなNNをトレーニング(または計算)できるアルゴリズムはランダム化されていても存在しません。実際、正の整数K> 2およびLの場合、同時に次の場合があります。(a)ランダム化されたアルゴリズムが1/2より大きい確率でK桁に正しいNNを計算できない、(b)計算する決定論的アルゴリズムが存在するK-1の正しい桁を持つNNですが、そのような(ランダム化された)アルゴリズムには任意に多くのトレーニングデータが必要です。(c)L個以下のトレーニングサンプルを使用してK-2の正しい桁を持つNNを計算する決定論的アルゴリズムが存在します。これらの結果は、Smaleの18番目の問題の基本的な基礎を提供し、特定の精度の(安定した)NNをアルゴリズムで計算できる条件を説明する潜在的に広大で重要な分類理論を意味します。この理論は、圧縮センシングとDLの統一理論を開始することから始まり、逆問題で安定したNNを計算するアルゴリズムが存在するための十分条件につながります。 Fast Iterative REstarted NETworks(FIRENET)を紹介します。これは、安定していることを証明し、数値的に検証します。さらに、逆問題(指数収束)のϵの正確な解には、O(| log(ϵ)|)層のみが必要であり、層の内部次元が逆問題の次元を超えないことを証明します。したがって、FIRENETは計算上非常に効率的です。
Deep learning (DL) has had unprecedented success and is now entering scientific computing with full force. However, DL suffers from a universal phenomenon: instability, despite universal approximating properties that often guarantee the existence of stable neural networks (NNs). We show the following paradox. There are basic well-conditioned problems in scientific computing where one can prove the existence of NNs with great approximation qualities, however, there does not exist any algorithm, even randomised, that can train (or compute) such a NN. Indeed, for any positive integers K > 2 and L, there are cases where simultaneously: (a) no randomised algorithm can compute a NN correct to K digits with probability greater than 1/2, (b) there exists a deterministic algorithm that computes a NN with K-1 correct digits, but any such (even randomised) algorithm needs arbitrarily many training data, (c) there exists a deterministic algorithm that computes a NN with K-2 correct digits using no more than L training samples. These results provide basic foundations for Smale's 18th problem and imply a potentially vast, and crucial, classification theory describing conditions under which (stable) NNs with a given accuracy can be computed by an algorithm. We begin this theory by initiating a unified theory for compressed sensing and DL, leading to sufficient conditions for the existence of algorithms that compute stable NNs in inverse problems. We introduce Fast Iterative REstarted NETworks (FIRENETs), which we prove and numerically verify are stable. Moreover, we prove that only O(|log(ϵ)|) layers are needed for an ϵ accurate solution to the inverse problem (exponential convergence), and that the inner dimensions in the layers do not exceed the dimension of the inverse problem. Thus, FIRENETs are computationally very efficient.