arXiv reaDer
一般化された宝くじの仮説
A Generalized Lottery Ticket Hypothesis
パラメータの空間で任意の基準を選択することにより、「スパース性」の概念が緩和される宝くじの仮説の一般化を紹介します。正規ベースで報告された元の結果が、このより広い設定で保持され続けるという証拠を提示します。剪定ユニットや完全に接続されたレイヤーを低ランクの行列の製品に分解するなど、構造化された剪定方法を、この「一般化された」宝くじの仮説の特定のインスタンスとしてキャストする方法について説明します。ここで報告された調査は予備的なものであり、この方向に沿ったさらなる調査を奨励するために提供されています。
We introduce a generalization to the lottery ticket hypothesis in which the notion of "sparsity" is relaxed by choosing an arbitrary basis in the space of parameters. We present evidence that the original results reported for the canonical basis continue to hold in this broader setting. We describe how structured pruning methods, including pruning units or factorizing fully-connected layers into products of low-rank matrices, can be cast as particular instances of this "generalized" lottery ticket hypothesis. The investigations reported here are preliminary and are provided to encourage further research along this direction.
updated: Mon Jul 26 2021 09:28:51 GMT+0000 (UTC)
published: Sat Jul 03 2021 20:01:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト