arXiv reaDer
SurReal: Complex-Valued Learning as Principled Transformations on a Scaling and Rotation Manifold
複素数値データは、信号および画像処理アプリケーションに遍在しており、深層学習における複素数値表現には、魅力的な理論的特性があります。これらの側面は長い間認識されてきましたが、複雑な値の深層学習は、実際の値の対応物よりもはるかに遅れています。複素数値の深層学習への原理的な幾何学的アプローチを提案します。複素数値のデータは、多くの場合、任意の複素数値のスケーリングの対象となる可能性があります。その結果、実数成分と虚数成分が共変動する可能性があります。複素数を実数の2つの独立したチャネルとして扱う代わりに、その基礎となるジオメトリを認識します。複素数の空間を、ゼロ以外のスケーリングと平面回転の積多様体としてモデル化します。任意の複素数値スケーリングは、当然、この多様体に対する推移的なアクションのグループになります。実数値関数の形式ではなく、プロパティを複雑な領域に拡張することを提案します。畳み込みを、スケーリング/回転アクションのグループと同変であるマニフォールドの重み付きフレシェ平均として定義し、アクショングループに対して不変であるマニフォールドの距離変換を定義します。マニフォールドパースペクティブを使用すると、タンジェントReLUやGトランスポートなどの非線形活性化関数、およびマニフォールド値データの残余接続を定義することもできます。 MSTARとRadioMLでの実験は、実数値と複素数値のベースラインモデルのほんの一部のサイズで高性能を実現するため、モデルSurRealをダビングします。
Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Fréchet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU and G-transport, as well as residual connections on the manifold-valued data. We dub our model SurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.
updated: Fri Nov 06 2020 19:05:06 GMT+0000 (UTC)
published: Fri Oct 18 2019 20:36:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト