レイヤー飽和を提案します。これは、ニューラルネットワークの情報処理を分析するための簡単でオンラインで計算可能な方法です。まず、パフォーマンスの損失なしに、レイヤーの出力をその分散行列の固有空間に制限できることを示します。トレーニング中に分散行列を近似するための計算量の少ない方法を提案します。損失のない固有空間の次元から、層の飽和、つまり固有空間の次元と層の幅の比率を導き出します。飽和は、どの層がネットワークパフォーマンスに寄与するかを示すように見えることを示しています。ネットワークの深さ、フィルターサイズ、入力解像度を変更することにより、ニューラルネットワークのレイヤー飽和を変更する方法を示します。さらに、適切に選択された入力解決により、推論プロセスがネットワーク全体に均等に分散されるため、ネットワークのパフォーマンスが向上することが示されています。
We propose layer saturation - a simple, online-computable method for analyzing the information processing in neural networks. First, we show that a layer's output can be restricted to the eigenspace of its variance matrix without performance loss. We propose a computationally lightweight method for approximating the variance matrix during training. From the dimension of its lossless eigenspace we derive layer saturation - the ratio between the eigenspace dimension and layer width. We show that saturation seems to indicate which layers contribute to network performance. We demonstrate how to alter layer saturation in a neural network by changing network depth, filter sizes and input resolution. Furthermore, we show that well-chosen input resolution increases network performance by distributing the inference process more evenly across the network.