勾配降下法によってトレーニングされたニューラルネットワークがどのように外挿するか、つまり、トレーニング分布のサポート外で学習することを研究します。以前の作品は、ニューラルネットワークで外挿するときに混合した経験的結果を報告しています:フィードフォワードニューラルネットワーク、別名多層パーセプトロン(MLP)は、特定の単純なタスクではうまく外挿しませんが、グラフニューラルネットワーク(GNN)(MLPモジュールを備えた構造化ネットワーク)は示していますより複雑なタスクである程度の成功。理論的な説明に向けて、MLPとGNNが適切に外挿する条件を特定します。まず、ReLU MLPが原点から任意の方向に沿って線形関数にすばやく収束するという観察結果を定量化します。これは、ReLUMLPがほとんどの非線形関数を外挿しないことを意味します。ただし、トレーニング分布が十分に「多様」である場合、線形ターゲット関数を確実に学習できます。第二に、GNNの成功と制限の分析に関連して、これらの結果は、理論的および経験的証拠を提供する仮説を示唆しています。アルゴリズムタスクを新しいデータ(たとえば、より大きなグラフやエッジの重み)に外挿する際のGNNの成功はエンコードに依存します。アーキテクチャまたは機能におけるタスク固有の非線形性。私たちの理論的分析は、過剰にパラメータ化されたネットワークのニューラルタンジェントカーネルへの接続に基づいています。経験的に、私たちの理論はさまざまなトレーニング設定に当てはまります。
We study how neural networks trained by gradient descent extrapolate, i.e., what they learn outside the support of the training distribution. Previous works report mixed empirical results when extrapolating with neural networks: while feedforward neural networks, a.k.a. multilayer perceptrons (MLPs), do not extrapolate well in certain simple tasks, Graph Neural Networks (GNNs) -- structured networks with MLP modules -- have shown some success in more complex tasks. Working towards a theoretical explanation, we identify conditions under which MLPs and GNNs extrapolate well. First, we quantify the observation that ReLU MLPs quickly converge to linear functions along any direction from the origin, which implies that ReLU MLPs do not extrapolate most nonlinear functions. But, they can provably learn a linear target function when the training distribution is sufficiently "diverse". Second, in connection to analyzing the successes and limitations of GNNs, these results suggest a hypothesis for which we provide theoretical and empirical evidence: the success of GNNs in extrapolating algorithmic tasks to new data (e.g., larger graphs or edge weights) relies on encoding task-specific non-linearities in the architecture or features. Our theoretical analysis builds on a connection of over-parameterized networks to the neural tangent kernel. Empirically, our theory holds across different training settings.