ムーア・ペンローズ逆行列は、物理学、統計学、および工学のさまざまな分野で広く使用されています。他の特性の中でも、データが過剰な場合の線形演算子の反転の概念をうまく捉えています。データサイエンスでは、非線形演算子が広く使用されています。この論文では、非線形演算子の疑似逆行列の基本的な特性を定義し、特徴づけます。概念は広く定義されています。最初に一般的なセット用に、次にノルム空間用に改良します。ノルム空間の疑似逆行列は、演算子が行列の場合にムーアペンローズ逆行列を生成します。疑似逆行列の存在と一意性の条件を提示し、連続性、演算子構成と射影演算子の値など、その特性を調査する理論的結果を確立します。解析式は、ハードしきい値またはソフトしきい値やReLUなど、よく知られている非可逆の非線形演算子の疑似逆行列に対して与えられます。最後に、神経層を分析し、ウェーブレットしきい値処理および正則化された損失最小化との関係について説明します。
The Moore-Penrose inverse is widely used in physics, statistics and various fields of engineering. Among other characteristics, it captures well the notion of inversion of linear operators in the case of overcomplete data. In data science, nonlinear operators are extensively used. In this paper we define and characterize the fundamental properties of a pseudo-inverse for nonlinear operators. The concept is defined broadly. First for general sets, and then a refinement for normed spaces. Our pseudo-inverse for normed spaces yields the Moore-Penrose inverse when the operator is a matrix. We present conditions for existence and uniqueness of a pseudo-inverse and establish theoretical results investigating its properties, such as continuity, its value for operator compositions and projection operators, and others. Analytic expressions are given for the pseudo-inverse of some well-known, non-invertible, nonlinear operators, such as hard- or soft-thresholding and ReLU. Finally, we analyze a neural layer and discuss relations to wavelet thresholding and to regularized loss minimization.