arXiv reaDer
宝くじ仮説におけるレイヤーごとの重要性の考察
Considering Layerwise Importance in the Lottery Ticket Hypothesis
Lottery Ticket Hypothesis (LTH) は、モデルを繰り返しトレーニングし、グローバルな重みの大きさが最も低い接続を削除し、残りの接続を巻き戻すことで、まばらなネットワークを抽出できることを示しました。このグローバルな比較により、レイヤー内の接続間のコンテキスト情報が削除されます。ここでは、この層の分布コンテキストの一部を回復する手段を検討し、LTH を一般化して、グローバルな重みの大きさではなく、重みの重要度の値を考慮するようにします。反復可能なトレーニング手順が与えられた場合、異なる重要度指標を適用すると、重複する接続がほとんどない明確なパフォーマンスの宝くじにつながることがわかります。これは、宝くじが一意ではないことを強く示唆しています
The Lottery Ticket Hypothesis (LTH) showed that by iteratively training a model, removing connections with the lowest global weight magnitude and rewinding the remaining connections, sparse networks can be extracted. This global comparison removes context information between connections within a layer. Here we study means for recovering some of this layer distributional context and generalise the LTH to consider weight importance values rather than global weight magnitudes. We find that given a repeatable training procedure, applying different importance metrics leads to distinct performant lottery tickets with little overlapping connections. This strongly suggests that lottery tickets are not unique
updated: Wed Feb 22 2023 09:51:00 GMT+0000 (UTC)
published: Wed Feb 22 2023 09:51:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト