arXiv reaDer
ハイパーコンプレックスパラメータ化による軽量畳み込みニューラルネットワーク
Lightweight Convolutional Neural Networks By Hypercomplex Parameterization
ハイパーコンプレックスニューラルネットワークは、クリフォード代数の特性を活用することにより、貴重なパフォーマンスを確保しながら、パラメーターの総数を減らすことが証明されています。最近、効率的なパラメーター化されたクロネッカー積を含めることにより、超複雑な線形層がさらに改善されました。この論文では、軽量で効率的な大規模畳み込みモデルを開発するために、超複雑畳み込み層のパラメーター化を定義します。私たちの方法は、厳密に事前定義されたドメイン構造に従う必要なしに、データから直接畳み込みルールとフィルター構成を把握します。提案されたアプローチは、代数規則が事前設定されているかどうかに関係なく、1DからnDまでの任意のユーザー定義または調整されたドメインで動作する柔軟性があります。このような順応性により、カラー画像などの3D入力用のクォータニオンニューラルネットワークで行われるように、追加の次元を追加することなく、自然領域で多次元入力を処理できます。結果として、提案された方法は、実領域でのそのアナログに関して、1 / nの自由パラメーターで動作します。さまざまな画像データセットとオーディオデータセットで実験を実行することにより、アプリケーションの複数のドメインに対するこのアプローチの多様性を示します。このデータセットでは、メソッドが実際のクォータニオン値の対応物よりも優れています。
Hypercomplex neural networks have proved to reduce the overall number of parameters while ensuring valuable performances by leveraging the properties of Clifford algebras. Recently, hypercomplex linear layers have been further improved by involving efficient parameterized Kronecker products. In this paper, we define the parameterization of hypercomplex convolutional layers to develop lightweight and efficient large-scale convolutional models. Our method grasps the convolution rules and the filters organization directly from data without requiring a rigidly predefined domain structure to follow. The proposed approach is flexible to operate in any user-defined or tuned domain, from 1D to nD regardless of whether the algebra rules are preset. Such a malleability allows processing multidimensional inputs in their natural domain without annexing further dimensions, as done, instead, in quaternion neural networks for 3D inputs like color images. As a result, the proposed method operates with 1/n free parameters as regards its analog in the real domain. We demonstrate the versatility of this approach to multiple domains of application by performing experiments on various image datasets as well as audio datasets in which our method outperforms real and quaternion-valued counterparts.
updated: Fri Oct 08 2021 14:57:19 GMT+0000 (UTC)
published: Fri Oct 08 2021 14:57:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト