近年、拡散モデルは、画像合成、超解像、3D分子生成など、人工知能のさまざまな領域で目覚ましい成功を収めています。ただし、グラフ学習における拡散モデルの応用は比較的注目されていません。この論文では、教師なしグラフ表現学習のための拡散モデルの使用を調査することで、このギャップに対処します。まず、グラフの異方性構造と、異方性構造を学習する際のバニラ順拡散プロセスの重大な制限を特定します。このプロセスは、等方性ガウス ノイズをデータに継続的に追加することに依存しているため、異方性信号がノイズに変換されるのが早すぎる可能性があります。この急速な変換は、ノイズ除去ニューラル ネットワークのトレーニングを妨げ、逆のプロセスでの意味的に意味のある表現の取得を妨げます。この課題に対処するために、方向性拡散モデルと呼ばれる新しいクラスのモデルを提案します。これらのモデルには、前方拡散プロセスにデータ依存の異方性ノイズと指向性ノイズが組み込まれています。提案したモデルの有効性を評価するために、2 つの異なるグラフ表現学習タスクに焦点を当て、12 の公的に利用可能なデータセットに対して広範な実験を実施しました。実験結果は、当社のモデルが最先端のベースラインよりも優れていることを示しており、意味のあるグラフ表現を取得する際のモデルの有効性を示しています。私たちの研究は、拡散モデルの前進プロセスに関する貴重な洞察を提供するだけでなく、さまざまなグラフ関連タスクに対するこれらのモデルの幅広い可能性も強調しています。
In recent years, diffusion models have achieved remarkable success in various domains of artificial intelligence, such as image synthesis, super-resolution, and 3D molecule generation. However, the application of diffusion models in graph learning has received relatively little attention. In this paper, we address this gap by investigating the use of diffusion models for unsupervised graph representation learning. We begin by identifying the anisotropic structures of graphs and a crucial limitation of the vanilla forward diffusion process in learning anisotropic structures. This process relies on continuously adding an isotropic Gaussian noise to the data, which may convert the anisotropic signals to noise too quickly. This rapid conversion hampers the training of denoising neural networks and impedes the acquisition of semantically meaningful representations in the reverse process. To address this challenge, we propose a new class of models called directional diffusion models. These models incorporate data-dependent, anisotropic, and directional noises in the forward diffusion process. To assess the efficacy of our proposed models, we conduct extensive experiments on 12 publicly available datasets, focusing on two distinct graph representation learning tasks. The experimental results demonstrate the superiority of our models over state-of-the-art baselines, indicating their effectiveness in capturing meaningful graph representations. Our studies not only provide valuable insights into the forward process of diffusion models but also highlight the wide-ranging potential of these models for various graph-related tasks.