量子物理学に端を発するテンソルネットワークは、古典的および量子機械学習のための効率的なツールとして浮上しています。それにもかかわらず、テンソルネットワークと古典的な機械学習の高度なニューラルネットワークモデルの間には、依然としてかなりの精度のギャップがあります。この作業では、行列積状態(MPS)、最も単純なテンソルネットワーク構造、および残余ニューラルネットワークのアイデアを組み合わせて、残余行列積状態(ResMPS)を提案します。 ResMPSは、そのレイヤーが「隠された」特徴を出力(たとえば、分類)にマッピングし、レイヤーの変動パラメーターがサンプルの特徴(たとえば、画像のピクセル)の関数であるネットワークとして扱うことができます。これは、レイヤーが特徴を出力にフィードフォワードでマッピングするニューラルネットワークとは異なります。 ResMPSは、非線形アクティベーションおよびドロップアウトレイヤーを装備でき、効率、安定性、および表現力の点で、最先端のテンソルネットワークモデルよりも優れています。さらに、ResMPSは、因数分解と指数関数が自然に出現する多項式展開の観点から解釈できます。私たちの仕事は、ニューラルネットワークとテンソルネットワークの接続とハイブリッド化に貢献します。これは、動作メカニズムの理解をさらに深め、両方のモデルのパフォーマンスを向上させるために重要です。
Tensor network, which originates from quantum physics, is emerging as an efficient tool for classical and quantum machine learning. Nevertheless, there still exists a considerable accuracy gap between tensor network and the sophisticated neural network models for classical machine learning. In this work, we combine the ideas of matrix product state (MPS), the simplest tensor network structure, and residual neural network and propose the residual matrix product state (ResMPS). The ResMPS can be treated as a network where its layers map the "hidden" features to the outputs (e.g., classifications), and the variational parameters of the layers are the functions of the features of the samples (e.g., pixels of images). This is different from neural network, where the layers map feed-forwardly the features to the output. The ResMPS can equip with the non-linear activations and dropout layers, and outperforms the state-of-the-art tensor network models in terms of efficiency, stability, and expression power. Besides, ResMPS is interpretable from the perspective of polynomial expansion, where the factorization and exponential machines naturally emerge. Our work contributes to connecting and hybridizing neural and tensor networks, which is crucial to further enhance our understand of the working mechanisms and improve the performance of both models.