arXiv reaDer
ディープ グラフ リプログラミング
Deep Graph Reprogramming
この論文では、「ディープ グラフ リプログラミング」と呼ばれる、グラフ ニューラル ネットワーク (GNN) 用に調整されたタスクを再利用する新しいモデルを探ります。生のノード機能やモデル パラメーターを修正せずに、事前にトレーニングされた GNN を再プログラムして、さまざまなドメインで一連のクロスレベルのダウンストリーム タスクを処理するよう努めています。この目的のために、革新的なデータ再プログラミング パラダイムとモデル再プログラミング パラダイムを提案します。前者は、入力側のさまざまなタスクの多様なグラフ機能次元の課題に対処することを目的としていますが、後者は、モデル側の固定されたタスクごとのモデルごとの動作のジレンマを軽減します。データの再プログラミングのために、異種の入力次元を処理するための精巧な Meta-FeatPadding メソッドを具体的に考案し、多様な同種のサンプルに対して伝達的な Edge-Slimming と誘導的な Meta-GraPadding アプローチも開発します。一方、モデルの再プログラミングについては、凍結されたモデルにクロスドメインタスクの処理においてより大きな表現能力を与えるために、新しいタスク適応型の Reprogrammable-Aggregator を提案します。ノード/グラフ分類/回帰、3D オブジェクト認識、および分散アクション認識にわたる 14 のデータセットでの実験は、提案された方法がゼロからの再トレーニングによるものと同等の満足のいく結果をもたらすことを示しています。
In this paper, we explore a novel model reusing task tailored for graph neural networks (GNNs), termed as "deep graph reprogramming". We strive to reprogram a pre-trained GNN, without amending raw node features nor model parameters, to handle a bunch of cross-level downstream tasks in various domains. To this end, we propose an innovative Data Reprogramming paradigm alongside a Model Reprogramming paradigm. The former one aims to address the challenge of diversified graph feature dimensions for various tasks on the input side, while the latter alleviates the dilemma of fixed per-task-per-model behavior on the model side. For data reprogramming, we specifically devise an elaborated Meta-FeatPadding method to deal with heterogeneous input dimensions, and also develop a transductive Edge-Slimming as well as an inductive Meta-GraPadding approach for diverse homogenous samples. Meanwhile, for model reprogramming, we propose a novel task-adaptive Reprogrammable-Aggregator, to endow the frozen model with larger expressive capacities in handling cross-domain tasks. Experiments on fourteen datasets across node/graph classification/regression, 3D object recognition, and distributed action recognition, demonstrate that the proposed methods yield gratifying results, on par with those by re-training from scratch.
updated: Fri Apr 28 2023 02:04:29 GMT+0000 (UTC)
published: Fri Apr 28 2023 02:04:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト