レギュラライザーは、ディープ ニューラル ネットワークが機能の共適応を防止するのに役立ちました。ドロップアウトは、一般的に使用される正則化手法として、ネットワークの最適化中にニューロンの活動を確率的に無効にします。ただし、そのような完全な機能の破棄は、機能の表現とネットワークの理解に影響を与える可能性があります。潜在表現のより良い説明に向けて、バックボーン特徴からスタンドアロン グラフを構築することによって正則化関数を学習する DropGraph を提示します。 DropGraph は最初に確率的空間特徴ベクトルをサンプリングし、次に特徴マップの歪みを生成するグラフ推論方法を組み込みます。このアドオン グラフは、トレーニング中にネットワークを正規化し、推論中に完全にスキップできます。グラフの推論とドロップアウトの間のリンクに関する直感を提供し、部分的なグラフの推論方法がどのように特徴の相関を減らすかについてさらに議論します。この目的のために、私たちは、グラフ頂点の依存関係のモデリングと、バックボーン フィーチャ マップを歪めるためのグラフの利用について広範に研究しています。 DropGraph は、合計 7 つの異なるデータセットを使用して 4 つのタスクで検証されました。実験結果は、推論中に基本モデル構造を変更せずに、この方法が他の最先端の正則化器よりも優れていることを示しています。
Regularizers helped deep neural networks prevent feature co-adaptations. Dropout,as a commonly used regularization technique, stochastically disables neuron ac-tivations during network optimization. However, such complete feature disposal can affect the feature representation and network understanding. Toward betterdescriptions of latent representations, we present DropGraph that learns regularization function by constructing a stand-alone graph from the backbone features. DropGraph first samples stochastic spatial feature vectors and then incorporates graph reasoning methods to generate feature map distortions. This add-on graph regularizes the network during training and can be completely skipped during inference. We provide intuitions on the linkage between graph reasoning andDropout with further discussions on how partial graph reasoning method reduces feature correlations. To this end, we extensively study the modeling of graphvertex dependencies and the utilization of the graph for distorting backbone featuremaps. DropGraph was validated on four tasks with a total of 7 different datasets.The experimental results show that our method outperforms other state-of-the-art regularizers while leaving the base model structure unmodified during inference.