arXiv reaDer
メタパスに基づく構造情報による異種グラフの自己教師あり学習
Self-supervised Learning for Heterogeneous Graph via Structure Information based on Metapath
グラフ ニューラル ネットワーク (GNN) は、ユニバーサル ノード表現を学習することによってグラフ構造データをモデリングおよび処理するための主要なパラダイムです。 GNN をトレーニングする従来の方法は、非常に多くのラベル付きデータに依存しているため、コストと時間の要件が高くなります。特別なシーンでは、利用できず、実用的ではありません。グラフ構造データ自体によってラベルを生成できる自己教師あり表現学習は、この問題に取り組むための潜在的なアプローチです。そして、異種グラフの自己教師あり学習問題の研究に目を向けることは、同種グラフを扱うよりも困難であり、それに関する研究も少ない.本稿では、メタパスに基づく構造情報 (SESIM) を介した異種グラフの SElfsupervised 学習法を提案します。提案されたモデルは、各メタパス内のノード間のジャンプ数を予測することにより、プリテキスト タスクを構築し、プライマリ タスクの表現能力を向上させることができます。ジャンプ数を予測するために、SESIM はデータ自体を使用してラベルを生成し、時間のかかる手動のラベル付けを回避します。また、各メタパスのジャンプ数を予測することで、ノード間の本質的な性質であるグラフ構造情報を有効に活用することができます。したがって、SESIM は、グラフ構造のモデルの理解を深めます。最後に、プライマリ タスクと口実タスクを共同でトレーニングし、メタ学習を使用してプライマリ タスクに対する口実タスクの寄与のバランスを取ります。経験的結果は、SESIM メソッドのパフォーマンスを検証し、このメソッドがリンク予測タスクとノード分類タスクで従来のニューラル ネットワークの表現能力を向上できることを示しています。
graph neural networks (GNNs) are the dominant paradigm for modeling and handling graph structure data by learning universal node representation. The traditional way of training GNNs depends on a great many labeled data, which results in high requirements on cost and time. In some special scene, it is even unavailable and impracticable. Self-supervised representation learning, which can generate labels by graph structure data itself, is a potential approach to tackle this problem. And turning to research on self-supervised learning problem for heterogeneous graphs is more challenging than dealing with homogeneous graphs, also there are fewer studies about it. In this paper, we propose a SElfsupervised learning method for heterogeneous graph via Structure Information based on Metapath (SESIM). The proposed model can construct pretext tasks by predicting jump number between nodes in each metapath to improve the representation ability of primary task. In order to predict jump number, SESIM uses data itself to generate labels, avoiding time-consuming manual labeling. Moreover, predicting jump number in each metapath can effectively utilize graph structure information, which is the essential property between nodes. Therefore, SESIM deepens the understanding of models for graph structure. At last, we train primary task and pretext tasks jointly, and use meta-learning to balance the contribution of pretext tasks for primary task. Empirical results validate the performance of SESIM method and demonstrate that this method can improve the representation ability of traditional neural networks on link prediction task and node classification task.
updated: Fri Sep 09 2022 10:06:18 GMT+0000 (UTC)
published: Fri Sep 09 2022 10:06:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト