arXiv reaDer
Learning Digital Circuits: A Journey Through Weight Invariant Self-Pruning Neural Networks
 最近、論文「Weight Agnostic Neural Networks」で、Gaier&Haはトポロジーが完全に知識をエンコードしているネットワークを見つけるためにアーキテクチャー検索を利用しました。ただし、トポロジ空間でのアーキテクチャの検索にはコストがかかります。 2値化されたネットワークの既存のフレームワークを使用して、重みを0または1のいずれかに制限することにより、パフォーマンスの高いトポロジを見つけます。そのようなトポロジは、99%を超える重みをプルーニングしながら、標準ネットワークと同様のパフォーマンスを実現することを示しています。さらに、これらのトポロジは、明示的な調整を行わなくても、一定の重みを使用してタスクを実行できることを示しています。最後に、セットアップでは、各ニューロンがNORゲートのように機能し、仮想的にデジタル回路を学習していることがわかります。コンピュータービジョンデータセットに対するアプローチの有効性を示します。
Recently, in the paper "Weight Agnostic Neural Networks" Gaier & Ha utilized architecture search to find networks where the topology completely encodes the knowledge. However, architecture search in topology space is expensive. We use the existing framework of binarized networks to find performant topologies by constraining the weights to be either, zero or one. We show that such topologies achieve performance similar to standard networks while pruning more than 99% weights. We further demonstrate that these topologies can perform tasks using constant weights without any explicit tuning. Finally, we discover that in our setup each neuron acts like a NOR gate, virtually learning a digital circuit. We demonstrate the efficacy of our approach on computer vision datasets.
updated: Sun May 03 2020 22:23:59 GMT+0000 (UTC)
published: Fri Aug 30 2019 20:07:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト