この論文は、ゲーム理論的相互作用の観点から、ドロップアウト操作の有用性を理解し、改善することを目的としています。ドロップアウトがディープニューラルネットワーク(DNN)の入力変数間の相互作用の強さを抑制できることを証明します。理論的な証明は、さまざまな実験によっても検証されます。さらに、そのような相互作用は、深層学習における過剰適合問題と強く関連していることがわかります。したがって、ドロップアウトの有用性は、過剰適合の重要性を軽減するための相互作用の減少と見なすことができます。この理解に基づいて、ドロップアウトの効用をさらに改善するための相互作用損失を提案します。実験結果は、相互作用の損失がドロップアウトの有用性を効果的に改善し、DNNのパフォーマンスを向上させることができることを示しています。
This paper aims to understand and improve the utility of the dropout operation from the perspective of game-theoretic interactions. We prove that dropout can suppress the strength of interactions between input variables of deep neural networks (DNNs). The theoretic proof is also verified by various experiments. Furthermore, we find that such interactions were strongly related to the over-fitting problem in deep learning. Thus, the utility of dropout can be regarded as decreasing interactions to alleviate the significance of over-fitting. Based on this understanding, we propose an interaction loss to further improve the utility of dropout. Experimental results have shown that the interaction loss can effectively improve the utility of dropout and boost the performance of DNNs.