最近、基礎となるトポロジー構造の統計を前提として、特定のタスクでのディープニューラルネットワーク(DNN)のテストパフォーマンスを正確に予測する方法が開発されました。ただし、この新しく発見された洞察を実際のアプリケーションにさらに活用することは、時間とメモリの点で計算コストが高いため、手に負えません。この作業では、実行時にすばやく計算しながら、学習の進行を正確に特徴付ける新しいクラスのトポロジー機能を定義します。さらに、提案されたトポロジ機能は、バックプロパゲーションに容易に対応できるため、エンドツーエンドのトレーニングに組み込むことができます。 DNNの新しく開発された実用的なトポロジー特性評価により、追加のアプリケーションセットが可能になります。最初に、テストセットがなくても、ハイパフォーマンスコンピューティングを必要とせずに、DNNのパフォーマンスを予測できることを示します。また、DNNのトポロジ特性が、タスクの類似性を推定するのに効果的であることも示しています。最後に、DNNのトポロジー構造を積極的に制約することにより、DNNで学習を誘発できることを示します。これにより、メタ学習フレームワークでDNNの基礎となる構造を制限する新しい道が開かれます。
Recently, methods have been developed to accurately predict the testing performance of a Deep Neural Network (DNN) on a particular task, given statistics of its underlying topological structure. However, further leveraging this newly found insight for practical applications is intractable due to the high computational cost in terms of time and memory. In this work, we define a new class of topological features that accurately characterize the progress of learning while being quick to compute during running time. Additionally, our proposed topological features are readily equipped for backpropagation, meaning that they can be incorporated in end-to-end training. Our newly developed practical topological characterization of DNNs allows for an additional set of applications. We first show we can predict the performance of a DNN without a testing set and without the need for high-performance computing. We also demonstrate our topological characterization of DNNs is effective in estimating task similarity. Lastly, we show we can induce learning in DNNs by actively constraining the DNN's topological structure. This opens up new avenues in constricting the underlying structure of DNNs in a meta-learning framework.