arXiv reaDer
自己監視グラフ表現学習のための全粒自我セマンティック伝播
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
教師なし/自己監視グラフ表現学習は、ダウンストリームのノードレベルおよびグラフレベルの分類タスクにとって重要です。グラフのグローバル構造は、表現を区別するのに役立ち、既存の方法は、追加の監視を課すことにより、主にグローバル構造を利用します。ただし、それらのグローバルセマンティクスは通常、すべてのノード/グラフに対して不変であり、表現を充実させるためにグローバルセマンティクスを明示的に埋め込むことができません。本論文では、自己監視グラフ表現学習(OEPG)のための全粒自我セマンティック伝搬を提案する。具体的には、各ノード/グラフとグラフデータセット全体の階層グローバルクラスター間の1次および2次の機能の違いを活用して、インスタンス適応型のグローバル対応エゴセマンティック記述子を紹介します。記述子は、新しい隣接ノードとしてローカルグラフの畳み込みに明示的に統合できます。さらに、エゴセマンティックの全体のスケールと階層でオムニグラニュラー正規化を設計し、オムニグラニュラーの観点から各記述子に注意の重みを割り当てます。特殊な口実タスクとクロスイテレーションの勢いの更新は、ローカルとグローバルの相互適応のためにさらに開発されています。ダウンストリームタスクでは、OEPGは、スケールとドメインにまたがる複数のデータセットで2%〜6%の精度向上を実現し、常に最高のパフォーマンスを実現します。特に、OEPGは、数量およびトポロジの不均衡シナリオにも一般化されます。
Unsupervised/self-supervised graph representation learning is critical for downstream node- and graph-level classification tasks. Global structure of graphs helps discriminating representations and existing methods mainly utilize the global structure by imposing additional supervisions. However, their global semantics are usually invariant for all nodes/graphs and they fail to explicitly embed the global semantics to enrich the representations. In this paper, we propose Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning (OEPG). Specifically, we introduce instance-adaptive global-aware ego-semantic descriptors, leveraging the first- and second-order feature differences between each node/graph and hierarchical global clusters of the entire graph dataset. The descriptors can be explicitly integrated into local graph convolution as new neighbor nodes. Besides, we design an omni-granular normalization on the whole scales and hierarchies of the ego-semantic to assign attentional weight to each descriptor from an omni-granular perspective. Specialized pretext tasks and cross-iteration momentum update are further developed for local-global mutual adaptation. In downstream tasks, OEPG consistently achieves the best performance with a 2%~6% accuracy gain on multiple datasets cross scales and domains. Notably, OEPG also generalizes to quantity- and topology-imbalance scenarios.
updated: Tue May 31 2022 12:31:33 GMT+0000 (UTC)
published: Tue May 31 2022 12:31:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト