この論文では、サイズ (ゲート数)、深さ、重量、エネルギーという 4 つの複雑さの尺度の観点から、しきい値回路とニューラル ネットワークのその他の理論モデルの計算能力を調査します。ここで、回路のエネルギー複雑度は、その計算のスパース性を測定し、すべての入力割り当てにわたって取得された非ゼロ値を出力するゲートの最大数として定義されます。主な結果として、サイズ s、深さ d、エネルギー e、および重み w のしきい値回路 C は、log(rk(M_C)) ≤ed (logs + logw + logn) を満たすことを証明します。ここで、rk(M_C) はランクです。 C が計算する 2n 変数のブール関数の通信行列 M_C の。したがって、そのような閾値回路Cは、通信行列がs、wの対数係数とd、eの線形係数の積によって制限されるランクを有するブール関数のみを計算することができる。これは、エネルギーと重量が十分に小さい場合、サブリニア深さしきい値回路のサイズに指数関数的な下限があることを意味します。離散化 ReLE 回路や離散化シグモイド回路などのニューラル ネットワークの他のモデルについては、離散化回路 C: rk(M_C) = O(ed(logs + logw + logn)^3) にも同様の不等式が成り立つことを証明します。
In this paper, we investigate computational power of threshold circuits and other theoretical models of neural networks in terms of the following four complexity measures: size (the number of gates), depth, weight and energy. Here the energy complexity of a circuit measures sparsity of their computation, and is defined as the maximum number of gates outputting non-zero values taken over all the input assignments. As our main result, we prove that any threshold circuit C of size s, depth d, energy e and weight w satisfies log(rk(M_C)) ≤ed (logs + logw + logn), where rk(M_C) is the rank of the communication matrix M_C of a 2n-variable Boolean function that C computes. Thus, such a threshold circuit C is able to compute only a Boolean function of which communication matrix has rank bounded by a product of logarithmic factors of s,w and linear factors of d,e. This implies an exponential lower bound on the size of even sublinear-depth threshold circuit if energy and weight are sufficiently small. For other models of neural networks such as a discretized ReLE circuits and decretized sigmoid circuits, we prove that a similar inequality also holds for a discretized circuit C: rk(M_C) = O(ed(logs + logw + logn)^3).