トランスフォーマーの自己注意ネットワークは、コンピュータービジョン、画像処理、自然言語処理などの研究分野で広く使用されています。ただし、高度な集計関数の構築が不可欠なグラフニューラルネットワーク(GNN)では積極的に使用されていません。この目的のために、グラフ表現を学習するための強力な集計関数を誘導するために、トランスフォーマーの自己注意メカニズムとそれに続く反復遷移を活用する効果的なGNNモデルであるU2GNNを紹介します。実験結果は、提案されたU2GNNが、グラフ分類のためのよく知られたベンチマークデータセットで最先端の精度を達成することを示しています。私たちのコードはhttps://github.com/daiquocnguyen/Graph-Transformerで入手できます。
The transformer self-attention network has been extensively used in research domains such as computer vision, image processing, and natural language processing. But it has not been actively used in graph neural networks (GNNs) where constructing an advanced aggregation function is essential. To this end, we present U2GNN, an effective GNN model leveraging a transformer self-attention mechanism followed by a recurrent transition, to induce a powerful aggregation function to learn graph representations. Experimental results show that the proposed U2GNN achieves state-of-the-art accuracies on well-known benchmark datasets for graph classification. Our code is available at: https://github.com/daiquocnguyen/Graph-Transformer