arXiv reaDer
DeepGCNs: Making GCNs Go as Deep as CNNs
畳み込みニューラルネットワーク(CNN)は、ほんの数例を挙げると、オブジェクトの分類と検出、セマンティックセグメンテーション、アクティビティの理解など、さまざまなコンピュータービジョンタスクの解決に非常に成功しています。優れたパフォーマンスを実現する重要な要素の1つは、非常に深いネットワークをトレーニングできることです。多くのタスクで大きな成功を収めているにもかかわらず、CNNは、多くの実際のアプリケーションで普及している非ユークリッドデータではうまく機能しません。グラフ畳み込みネットワーク(GCN)は、ニューラルネットワークへの非ユークレディアンデータ入力を可能にする代替手段を提供します。 GCNはすでに有望な結果を達成していますが、現在、主にトレーニング中に勾配が消失するため、レイヤー数が比較的少ないアーキテクチャに限定されています。この作業では、非常に深いGCNを正常にトレーニングするために、残差/密接続や拡張畳み込みなどの概念をCNNからGCNに転送します。さまざまなデータセットとタスクにわたって実験的に深いGCN(最大112層)を使用することの利点を示します。具体的には、点群での部分セグメンテーションとセマンティックセグメンテーション、および生物学的タンパク質間相互作用(PPI)グラフ全体でのタンパク質機能のノード分類で非常に有望なパフォーマンスを実現します。この作業の洞察は、GCNに関する将来の研究と、このペーパーで検討されていないさらなるタスクへのそれらの適用への道を開くと信じています。この作業のソースコードは、PyTorchとTensorFlowの実装について、それぞれとで入手できます。
Convolutional Neural Networks (CNNs) have been very successful at solving a variety of computer vision tasks such as object classification and detection, semantic segmentation, activity understanding, to name just a few. One key enabling factor for their great performance has been the ability to train very deep networks. Despite their huge success in many tasks, CNNs do not work well with non-Euclidean data, which is prevalent in many real-world applications. Graph Convolutional Networks (GCNs) offer an alternative that allows for non-Eucledian data input to a neural network. While GCNs already achieve encouraging results, they are currently limited to architectures with a relatively small number of layers, primarily due to vanishing gradients during training. This work transfers concepts such as residual/dense connections and dilated convolutions from CNNs to GCNs in order to successfully train very deep GCNs. We show the benefit of using deep GCNs (with as many as 112 layers) experimentally across various datasets and tasks. Specifically, we achieve very promising performance in part segmentation and semantic segmentation on point clouds and in node classification of protein functions across biological protein-protein interaction (PPI) graphs. We believe that the insights in this work will open avenues for future research on GCNs and their application to further tasks not explored in this paper. The source code for this work is available at and for PyTorch and TensorFlow implementation respectively.
updated: Fri May 14 2021 21:35:58 GMT+0000 (UTC)
published: Tue Oct 15 2019 15:10:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト