arXiv reaDer
冗長性の活用:リー群上の分離可能なグループ畳み込みネットワーク
Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups
グループ畳み込みニューラルネットワーク(G-CNN)は、幾何学的な誘導バイアスを組み込むことにより、パラメーターの効率とモデルの精度を向上させることが示されています。この作業では、通常のG-CNNによって学習された表現のプロパティを調査し、グループ畳み込みカーネルでかなりのパラメーターの冗長性を示します。この発見は、サブグループ間で畳み込みカーネルを共有することにより、さらなる重みの結びつきを動機付けます。この目的のために、サブグループとチャネルの次元で分離可能な畳み込みカーネルを紹介します。任意のアフィンリー群との同変を取得するために、分離可能な畳み込みカーネルの連続パラメーター化を提供します。いくつかのビジョンデータセットにわたってアプローチを評価し、重みの共有がパフォーマンスと計算効率の向上につながることを示しています。多くの設定では、分離可能なG-CNNは、トレーニング時間のごく一部しか使用せずに、分離不可能なG-CNNよりもパフォーマンスが優れています。さらに、計算効率の向上のおかげで、Sim(2)グループと同変のG-CNNを実装できます。拡張、回転、平行移動のグループ。 Sim(2)-等分散により、考慮されるすべてのタスクのパフォーマンスがさらに向上します。
Group convolutional neural networks (G-CNNs) have been shown to increase parameter efficiency and model accuracy by incorporating geometric inductive biases. In this work, we investigate the properties of representations learned by regular G-CNNs, and show considerable parameter redundancy in group convolution kernels. This finding motivates further weight-tying by sharing convolution kernels over subgroups. To this end, we introduce convolution kernels that are separable over the subgroup and channel dimensions. In order to obtain equivariance to arbitrary affine Lie groups we provide a continuous parameterisation of separable convolution kernels. We evaluate our approach across several vision datasets, and show that our weight sharing leads to improved performance and computational efficiency. In many settings, separable G-CNNs outperform their non-separable counterpart, while only using a fraction of their training time. In addition, thanks to the increase in computational efficiency, we are able to implement G-CNNs equivariant to the Sim(2) group; the group of dilations, rotations and translations. Sim(2)-equivariance further improves performance on all tasks considered.
updated: Mon Oct 25 2021 15:56:53 GMT+0000 (UTC)
published: Mon Oct 25 2021 15:56:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト