arXiv reaDer
同変表現からのグループ不変線形読み出しの容量:すべての可能なビューの下で線形に分類できるオブジェクトの数は?
Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?
同変性は、平行移動や回転など、グループを構成するアイデンティティを保持する変換の対象となるオブジェクトの表現の望ましいプロパティとして浮上しています。ただし、グループの同変によって制約される表現の表現度はまだ完全には理解されていません。オブジェクトの同変表現に割り当てることができる線形分離可能でグループ不変のバイナリ二次形式の数を定量化するカバーの関数カウント定理の一般化を提供することによって、このギャップに対処します。分離可能な二分法の割合は、群作用によって固定される空間の次元によって決定されることがわかります。この関係が、畳み込み、要素ごとの非線形性、グローバルおよびローカルプーリングなどの操作にどのように拡張されるかを示します。他の操作は分離可能な二分法の割合を変更しませんが、ローカルプーリングは、高度に非線形な操作であるにもかかわらず、割合を減らします。最後に、ランダムに初期化され、完全にトレーニングされた畳み込みニューラルネットワークの中間表現で理論をテストし、完全な一致を見つけます。
Equivariance has emerged as a desirable property of representations of objects subject to identity-preserving transformations that constitute a group, such as translations and rotations. However, the expressivity of a representation constrained by group equivariance is still not fully understood. We address this gap by providing a generalization of Cover's Function Counting Theorem that quantifies the number of linearly separable and group-invariant binary dichotomies that can be assigned to equivariant representations of objects. We find that the fraction of separable dichotomies is determined by the dimension of the space that is fixed by the group action. We show how this relation extends to operations such as convolutions, element-wise nonlinearities, and global and local pooling. While other operations do not change the fraction of separable dichotomies, local pooling decreases the fraction, despite being a highly nonlinear operation. Finally, we test our theory on intermediate representations of randomly initialized and fully trained convolutional neural networks and find perfect agreement.
updated: Tue Oct 26 2021 00:57:49 GMT+0000 (UTC)
published: Thu Oct 14 2021 15:46:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト