arXiv reaDer
不規則またはランダムな変形の下での深い畳み込みニューラルネットワークの安定性について
On the stability of deep convolutional neural networks under irregular or random deformations
深い畳み込みニューラルネットワーク(DCNN)の位置変形の下でのロバスト性の問題は、理論的および実用的に非常に興味深いものです。この問題は、特に散乱型アーキテクチャの先駆的な研究で、ある程度の規則性(少なくともC ^ 1)を持つ変形ベクトル場τ(x)について研究されてきました。ここでは、追加の規則性の仮定なしに、任意のフィールドτ∈L^∞(R ^ d; R ^ d)についてこの問題に対処します。したがって、画像のピクセル位置のノイズなどの野生の不規則な変形の場合も含まれます。スケールsの多重解像度近似空間U_sの信号の場合、ネットワークがリプシッツ連続であるときはいつでも(アーキテクチャに関係なく)、L ^ 2の安定性は、本質的にL ^∞/ s≪1の領域で保持されることを証明します。不確定性原理。 L ^∞/ s≫1の不安定性は、ウェーブレット散乱ネットワークなどの適切に構造化されたDCNNでも発生する可能性があり、漸近成長率の鋭い上限を提供します。次に、安定性の結果は、与えられた多重解像度近似に合わせて調整されたBesov空間B ^ d / 2_2,1の信号に拡張されます。また、より一般的な時間-周波数変形の場合も考慮します。最後に、前述の結果の確率的バージョンを提供します。つまり、τ(x)が同じ分布の変数|τ(x)|を持つ確率場(一般に有界ではない)としてモデル化された場合の平均の安定性の問題を研究します。 x∈R^ d。
The problem of robustness under location deformations for deep convolutional neural networks (DCNNs) is of great theoretical and practical interest. This issue has been studied in pioneering works, especially for scattering-type architectures, for deformation vector fields τ(x) with some regularity - at least C^1. Here we address this issue for any field τ∈L^∞(R^d;R^d), without any additional regularity assumption, hence including the case of wild irregular deformations such as a noise on the pixel location of an image. We prove that for signals in multiresolution approximation spaces U_s at scale s, whenever the network is Lipschitz continuous (regardless of its architecture), stability in L^2 holds in the regime L^∞/s≪1, essentially as a consequence of the uncertainty principle. When L^∞/s≫1 instability can occur even for well-structured DCNNs such as the wavelet scattering networks, and we provide a sharp upper bound for the asymptotic growth rate. The stability results are then extended to signals in the Besov space B^d/2_2,1 tailored to the given multiresolution approximation. We also consider the case of more general time-frequency deformations. Finally, we provide stochastic versions of the aforementioned results, namely we study the issue of stability in mean when τ(x) is modeled as a random field (not bounded, in general) with with identically distributed variables |τ(x)|, x∈R^d.
updated: Sat Apr 24 2021 16:16:30 GMT+0000 (UTC)
published: Sat Apr 24 2021 16:16:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト