グラフ畳み込みネットワーク(GCN)は、グラフの表現学習のための最先端の深層学習モデルとして登場しました。ただし、大規模なグラフデータセットに対してGCNをトレーニングおよび推論することは依然として困難であり、アプリケーションを大規模な実世界のグラフに限定し、より深く、より洗練されたGCNグラフの探索を妨げます。これは、グラフサイズが大きくなると、ノードフィーチャの数が非常に多くなり、隣接行列が大きくなると、必要なメモリとデータの移動が簡単に爆発する可能性があるためです。前述の課題に取り組むために、GCNグラフ、つまり隣接行列を大幅に縮小しながら、対応する完全なグラフと同等またはそれ以上の精度を達成できるサブグラフをスパース化するときに宝くじを引く可能性を探ります。具体的には、GCNグラフをスパース化する非常に早い段階で出現するグラフアーリーバード(GEB)チケットの存在を初めて発見し、そのようなGEBチケットの出現を自動的に識別するシンプルで効果的な検出器を提案します。さらに、GEBTと呼ばれる汎用の効率的なGCNトレーニングフレームワークを開発します。これは、(1)GCNグラフとモデルの間に共同早期チケットを描画し、(2)GCNグラフとモデルの両方を同時にスパース化できるようにすることで、GCNトレーニングの効率を大幅に向上させることができます。実世界のグラフデータセットを処理するための大きなGCNグラフのトレーニングと推論への道を開きます。さまざまなGCNモデルとデータセットでの実験により、GEBの結果とGEBTの有効性が一貫して検証されます。たとえば、GEBTは、GCNトレーニングと推論のコストを最大80.2%〜85.6%および84.6%〜87.5%節約すると同時に、同等または最先端の方法と比較してさらに優れた精度。 https://github.com/RICE-EIC/GEBTで入手可能なコード
Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art deep learning model for representation learning on graphs. However, it remains notoriously challenging to train and inference GCNs over large graph datasets, limiting their application to large real-world graphs and hindering the exploration of deeper and more sophisticated GCN graphs. This is because as the graph size grows, the sheer number of node features and the large adjacency matrix can easily explode the required memory and data movements. To tackle the aforementioned challenge, we explore the possibility of drawing lottery tickets when sparsifying GCN graphs, i.e., subgraphs that largely shrink the adjacency matrix yet are capable of achieving accuracy comparable to or even better than their corresponding full graphs. Specifically, we for the first time discover the existence of graph early-bird (GEB) tickets that emerge at the very early stage when sparsifying GCN graphs, and propose a simple yet effective detector to automatically identify the emergence of such GEB tickets. Furthermore, we develop a generic efficient GCN training framework dubbed GEBT that can significantly boost the efficiency of GCN training by (1) drawing joint early-bird tickets between the GCN graphs and models and (2) enabling simultaneously sparsifying both GCN graphs and models, paving the way for training and inferencing large GCN graphs to handle real-world graph datasets. Experiments on various GCN models and datasets consistently validate our GEB finding and the effectiveness of our GEBT, e.g., our GEBT achieves up to 80.2% ~ 85.6% and 84.6% ~ 87.5% savings of GCN training and inference costs while leading to a comparable or even better accuracy as compared to state-of-the-art methods. Code available at https://github.com/RICE-EIC/GEBT