arXiv reaDer
Deep Generalized Convolutional Sum-Product Networks
Sum-Product Networks(SPN)は、深層学習と確率論的モデリングの利点を組み合わせた階層的なグラフィカルモデルです。 SPNは、高次元でノイズの多い入力に対して正確な確率論的推論を必要とするアプリケーションに独自の利点を提供します。それでも、畳み込みニューラルネットと比較すると、画像データ内の複雑な空間関係のキャプチャに苦労しています。この問題を緩和するために、確率的SPNモデルの有効性を維持しながら、CNNと同様の方法で空間機能をエンコードする、Deep Generalized Convolutional Sum-Product Networks(DGC-SPNs)を導入します。既存のSPNベースの画像表現とは対照的に、DGC-SPNは、拡張とストライドの新しいパラメーター化により、畳み込みパッチのオーバーラップを可能にし、フィーチャーカバレッジとフィーチャー解像度を大幅に改善します。 DGC-SPNは、いくつかのビジュアルデータセット全体で、画像の修復や分類などの生成タスクと識別タスクの両方で、他のSPNアーキテクチャを大幅に上回っています。これらの貢献は、広く使用されているKeras / TensorFlowフレームワークと統合された、SPNの最初のシンプルでスケーラブルなGPU最適化実装によって強化されています。結果として得られるモデルは完全に確率的で用途が広いが、従来のディープネットの代わりに実用的なアプリケーションに適用するには効率的で簡単です。
Sum-Product Networks (SPNs) are hierarchical, graphical models that combine benefits of deep learning and probabilistic modeling. SPNs offer unique advantages to applications demanding exact probabilistic inference over high-dimensional, noisy inputs. Yet, compared to convolutional neural nets, they struggle with capturing complex spatial relationships in image data. To alleviate this issue, we introduce Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs), which encode spatial features in a way similar to CNNs, while preserving the validity of the probabilistic SPN model. As opposed to existing SPN-based image representations, DGC-SPNs allow for overlapping convolution patches through a novel parameterization of dilations and strides, resulting in significantly improved feature coverage and feature resolution. DGC-SPNs substantially outperform other SPN architectures across several visual datasets and for both generative and discriminative tasks, including image inpainting and classification. These contributions are reinforced by the first simple, scalable, and GPU-optimized implementation of SPNs, integrated with the widely used Keras/TensorFlow framework. The resulting model is fully probabilistic and versatile, yet efficient and straightforward to apply in practical applications in place of traditional deep nets.
updated: Tue Sep 22 2020 19:09:17 GMT+0000 (UTC)
published: Sat Feb 16 2019 20:55:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト