arXiv reaDer
敵対的相互作用が不均一なパターンを作成する理由:チューリング不安定性の疑似反応拡散モデル
Why Adversarial Interaction Creates Non-Homogeneous Patterns: A Pseudo-Reaction-Diffusion Model for Turing Instability
チューリングの独創的な反応拡散(RD)モデルのずっと後、彼の基本的な方程式の優雅さは、パターン形成を取り巻く懐疑論の多くを軽減しました。チューリングモデルは単純化と理想化ですが、自然界で観察されたパターンを彷彿とさせるパターンを説明するための最もよく知られた理論モデルの1つです。何年にもわたって、実際のシステムのパターンを説明するために理論モデルを調整するための協調的な努力がなされてきました。 RDシステムの特定のダイナミクスを特定することの明らかな困難は、問題を特に困難にします。興味深いことに、敵対的な相互作用を持つニューロンのシステムでチューリングのようなパターンを観察します。この研究では、そのようなパターンを作成するためのチューリング不安定性の関与を確立します。理論的および経験的研究により、これらの現象の根底にある可能性のあるメカニズムを説明するために、疑似反応拡散モデルを提示します。教師あり学習は均一な平衡を達成しますが、この論文は、敵対者の導入がこの均一性を破り、平衡状態で不均一なパターンを作成するのに役立つことを示唆しています。さらに、過剰パラメータ化を使用してランダムに初期化された勾配降下法は、敵対的な相互作用の下でも指数関数的に高速にϵ-停留点に収束できることを証明します。さらに、単独の監督とは異なり、敵対的な相互作用の下で得られたソリューションは、初期化の周りの小さな部分空間に限定されないことを示します。
Long after Turing's seminal Reaction-Diffusion (RD) model, the elegance of his fundamental equations alleviated much of the skepticism surrounding pattern formation. Though Turing model is a simplification and an idealization, it is one of the best-known theoretical models to explain patterns as a reminiscent of those observed in nature. Over the years, concerted efforts have been made to align theoretical models to explain patterns in real systems. The apparent difficulty in identifying the specific dynamics of the RD system makes the problem particularly challenging. Interestingly, we observe Turing-like patterns in a system of neurons with adversarial interaction. In this study, we establish the involvement of Turing instability to create such patterns. By theoretical and empirical studies, we present a pseudo-reaction-diffusion model to explain the mechanism that may underlie these phenomena. While supervised learning attains homogeneous equilibrium, this paper suggests that the introduction of an adversary helps break this homogeneity to create non-homogeneous patterns at equilibrium. Further, we prove that randomly initialized gradient descent with over-parameterization can converge exponentially fast to an ϵ-stationary point even under adversarial interaction. In addition, different from sole supervision, we show that the solutions obtained under adversarial interaction are not limited to a tiny subspace around initialization.
updated: Tue Dec 08 2020 10:29:39 GMT+0000 (UTC)
published: Thu Oct 01 2020 16:09:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト