arXiv reaDer
パラメーター化された超複素数乗算を使用して ResNet 画像分類のパフォーマンスを向上させる
Enhancing ResNet Image Classification Performance by using Parameterized Hypercomplex Multiplication
最近、多くの深層ネットワークがハイパーコンプレックスおよび関連する計算をアーキテクチャに導入しています。分類用の畳み込みネットワークに関しては、これらの拡張機能がフロントエンドの畳み込み演算に適用され、精度を高めたり、精度を維持しながらパラメーター要件を削減したりします。これらの拡張機能は畳み込みフロントエンドに適用されていますが、密に接続されたバックエンドに適用された場合にハイパーコンプレックス計算を追加するとパフォーマンスが向上するかどうかは調査されていません。このホワイト ペーパーでは、ResNet アーキテクチャを研究し、パラメーター化されたハイパーコンプレックス乗算 (PHM) を残差、四元数、ベクトルマップ畳み込みニューラル ネットワークのバックエンドに組み込んで効果を評価します。 PHM は、小規模で低解像度の CIFAR 10/100 や大規模な高解像度の ImageNet および ASL を含むいくつかの画像データセットで分類精度のパフォーマンスを向上させ、ハイパーコンプレックス ネットワークで最先端の精度を達成できることを示しています。
Recently, many deep networks have introduced hypercomplex and related calculations into their architectures. In regard to convolutional networks for classification, these enhancements have been applied to the convolution operations in the frontend to enhance accuracy and/or reduce the parameter requirements while maintaining accuracy. Although these enhancements have been applied to the convolutional frontend, it has not been studied whether adding hypercomplex calculations improves performance when applied to the densely connected backend. This paper studies ResNet architectures and incorporates parameterized hypercomplex multiplication (PHM) into the backend of residual, quaternion, and vectormap convolutional neural networks to assess the effect. We show that PHM does improve classification accuracy performance on several image datasets, including small, low-resolution CIFAR 10/100 and large high-resolution ImageNet and ASL, and can achieve state-of-the-art accuracy for hypercomplex networks.
updated: Wed Jan 11 2023 18:24:07 GMT+0000 (UTC)
published: Wed Jan 11 2023 18:24:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト