ニューラルネットワーク、特に深い畳み込みニューラルネットワークは、さまざまなコンピュータービジョンタスクで前例のないパフォーマンスを達成しましたが、成功したニューラルネットワークの計算と構造の理論的根拠は完全には理解されていません。画像分類のための畳み込みニューラルネットワークの適性については理論がたくさんありますが、そのようなモデルが推論や異常識別などの複雑な視覚的タスクを実行できる理由についてはあまり理解されていません。ここでは、ReLUがアクティブ化されているニューラルネットワーク、特に畳み込みニューラルネットワークのスパースコーディング解釈を提案します。スパースコーディングでは、モデルの基底関数が直交していると仮定すると、最適な係数は、入力画像に投影された基底関数のソフトしきい値関数によって与えられます。スパースコーディングの非負のバリアントでは、ソフトしきい値関数はReLUになります。ここでは、直交仮定基底関数を使用したスパースコーディングを介してこれらのソリューションを導出し、次に、各スパースコーディング係数の指数事前パラメーターを使用して修正された非負の直交スパースコーディングモデルから畳み込みニューラルネットワークの順方向変換を導出します。次に、階層的スパースコーディングモデルにロジスティック回帰を追加することにより、正規化とプーリングを行わない完全な畳み込みニューラルネットワークを導出します。最後に、畳み込みニューラルネットワークでスパース事前確率を維持し、より強力な非線形変換を実行することで、潜在的により堅牢な前方変換を動機付けます。
Neural networks, specifically deep convolutional neural networks, have achieved unprecedented performance in various computer vision tasks, but the rationale for the computations and structures of successful neural networks is not fully understood. Theories abound for the aptitude of convolutional neural networks for image classification, but less is understood about why such models would be capable of complex visual tasks such as inference and anomaly identification. Here, we propose a sparse coding interpretation of neural networks that have ReLU activation and of convolutional neural networks in particular. In sparse coding, when the model's basis functions are assumed to be orthogonal, the optimal coefficients are given by the soft-threshold function of the basis functions projected onto the input image. In a non-negative variant of sparse coding, the soft-threshold function becomes a ReLU. Here, we derive these solutions via sparse coding with orthogonal-assumed basis functions, then we derive the convolutional neural network forward transformation from a modified non-negative orthogonal sparse coding model with an exponential prior parameter for each sparse coding coefficient. Next, we derive a complete convolutional neural network without normalization and pooling by adding logistic regression to a hierarchical sparse coding model. Finally we motivate potentially more robust forward transformations by maintaining sparse priors in convolutional neural networks as well performing a stronger nonlinear transformation.