arXiv reaDer
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
 グラフカーネル(GK)はトレーニングが容易で、証明可能な理論的保証を享受できますが、カーネル関数はグラフの手作りの組み合わせ機能に依存することが多いため、その実用的なパフォーマンスは表現力によって制限されます。 GNNは多層アーキテクチャと非線形活性化関数を使用して、グラフの高次情報を特徴として抽出するため、グラフカーネルと比較して、グラフニューラルネットワーク(GNN)は通常、より優れた実用的なパフォーマンスを実現します。ただし、多数のハイパーパラメーターとトレーニング手順の非凸性の性質により、GNNはトレーニングが困難です。 GNNの理論的保証も十分に理解されていません。さらに、GNNの表現力はパラメーターの数に比例するため、コンピューティングリソースが限られている場合にGNNの力を最大限に活用することは困難です。現在の論文では、新しいクラスのグラフカーネルGraph Neural Tangent Kernel(GNTK)を紹介しています。これは、勾配降下法によって訓練された無限に広い多層GNNに対応しています。 GNTKはGNNの完全な表現力を享受し、GKの利点を継承します。理論的には、GNTKがグラフ上の滑らかな関数のクラスを証明できることを示します。経験的に、グラフ分類データセットでGNTKをテストし、強力なパフォーマンスを達成することを示しています。
While graph kernels (GKs) are easy to train and enjoy provable theoretical guarantees, their practical performances are limited by their expressive power, as the kernel function often depends on hand-crafted combinatorial features of graphs. Compared to graph kernels, graph neural networks (GNNs) usually achieve better practical performance, as GNNs use multi-layer architectures and non-linear activation functions to extract high-order information of graphs as features. However, due to the large number of hyper-parameters and the non-convex nature of the training procedure, GNNs are harder to train. Theoretical guarantees of GNNs are also not well-understood. Furthermore, the expressive power of GNNs scales with the number of parameters, and thus it is hard to exploit the full power of GNNs when computing resources are limited. The current paper presents a new class of graph kernels, Graph Neural Tangent Kernels (GNTKs), which correspond to infinitely wide multi-layer GNNs trained by gradient descent. GNTKs enjoy the full expressive power of GNNs and inherit advantages of GKs. Theoretically, we show GNTKs provably learn a class of smooth functions on graphs. Empirically, we test GNTKs on graph classification datasets and show they achieve strong performance.
updated: Mon Nov 04 2019 15:30:12 GMT+0000 (UTC)
published: Thu May 30 2019 17:23:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト