レギュラライザーは、ディープニューラルネットワークが機能の共適応を防ぐのに役立ちます。ドロップアウトは、一般的に使用される正則化手法として、ネットワークの最適化中にニューロンのアクティブ化を確率的に無効にします。ただし、このような完全な機能の破棄は、機能の表現とネットワークの理解に影響を与える可能性があります。潜在表現のより良い記述に向けて、バックボーン機能からスタンドアロングラフを構築することによって正則化関数を学習するDropGraphを提示します。 DropGraphは、最初に確率的空間特徴ベクトルをサンプリングし、次にグラフ推論メソッドを組み込んで特徴マップの歪みを生成します。このアドオングラフは、トレーニング中にネットワークを正規化し、推論中に完全にスキップできます。グラフ推論とドロップアウトの間のリンクについての直感を提供し、部分グラフ推論方法がどのように特徴の相関を減らすかについてのさらなる議論を提供します。この目的のために、グラフの頂点の依存関係のモデリングと、バックボーンの特徴マップを歪めるためのグラフの利用について広範囲に研究します。 DropGraphは、合計8つの異なるデータセットを使用して4つのタスクで検証されました。実験結果は、推論中に基本モデル構造を変更せずに、私たちの方法が他の最先端の正規化装置よりも優れていることを示しています。
Regularizers help deep neural networks prevent feature co-adaptations. Dropout, as a commonly used regularization technique, stochastically disables neuron activations during network optimization. However, such complete feature disposal can affect the feature representation and network understanding. Toward better descriptions of latent representations, we present DropGraph that learns a regularization function by constructing a stand-alone graph from the backbone features. DropGraph first samples stochastic spatial feature vectors and then incorporates graph reasoning methods to generate feature map distortions. This add-on graph regularizes the network during training and can be completely skipped during inference. We provide intuitions on the linkage between graph reasoning and Dropout with further discussions on how partial graph reasoning method reduces feature correlations. To this end, we extensively study the modeling of graph vertex dependencies and the utilization of the graph for distorting backbone feature maps. DropGraph was validated on 4 tasks with a total of 8 different datasets. The experimental results show that our method outperforms other state-of-the-art regularizers while leaving the base model structure unmodified during inference.