arXiv reaDer
ディープ多項式ニューラルネットワーク
Deep Polynomial Neural Networks
ディープ畳み込みニューラルネットワーク(DCNN)は、現在、生成的学習と、コンピュータービジョンおよび機械学習の識別学習の両方に最適な方法です。 DCNNの成功は、ビルディングブロックの慎重な選択に起因する可能性があります(たとえば、残りのブロック、整流器、高度な正規化スキームなど)。本論文では、多項式展開に基づく新しいクラスの関数近似器であるΠ-Netsを提案する。 Π-ネットは多項式ニューラルネットワークです。つまり、出力は入力の高次多項式です。高次テンソルによって自然に表される未知のパラメーターは、因子共有を伴う集団テンソル分解によって推定されます。パラメータの数を大幅に削減する3つのテンソル分解を紹介し、階層型ニューラルネットワークによってそれらを効率的に実装する方法を示します。 Π-Netは非常に表現力があり、画像、グラフ、音声などの大量のタスクや信号で非線形活性化関数を使用しなくても、良好な結果が得られることを経験的に示しています。活性化関数と組み合わせて使用すると、Π-Netsは、画像生成、顔認証、3Dメッシュ表現学習という3つの困難なタスクで最先端の結果を生成します。ソースコードはhttps://github.com/grigorisg9gr/polynomial_netsで入手できます。
Deep Convolutional Neural Networks (DCNNs) are currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose Π-Nets, a new class of function approximators based on polynomial expansions. Π-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. The unknown parameters, which are naturally represented by high-order tensors, are estimated through a collective tensor factorization with factors sharing. We introduce three tensor decompositions that significantly reduce the number of parameters and show how they can be efficiently implemented by hierarchical neural networks. We empirically demonstrate that Π-Nets are very expressive and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, Π-Nets produce state-of-the-art results in three challenging tasks, i.e. image generation, face verification and 3D mesh representation learning. The source code is available at https://github.com/grigorisg9gr/polynomial_nets.
updated: Sat Feb 27 2021 13:32:18 GMT+0000 (UTC)
published: Sat Jun 20 2020 16:23:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト