arXiv reaDer
Improving Discrete Latent Representations With Differentiable Approximation Bridges
  最新のニューラルネットワークトレーニングは、逆伝播を使用してモデルパラメーターを更新するために、区分的(準)微分可能関数に依存しています。この作業では、ディープニューラルネットワークの中間層で単純な微分不可能な関数を許可する新しい方法を紹介します。これは、微分不可能な順方向関数を近似し、逆伝播中に勾配更新を提供する微分可能近似ブリッジ(DAB)ニューラルネットワークでトレーニングすることによって行います。提案された方法が最先端のパフォーマンスを改善することを実証するために、4つの異なるドメインで強力な経験的結果(600以上の実験を実行)を提示します:教師なし(画像)表現学習、変分(画像)密度推定、画像分類、シーケンスソート。 DAB支援離散非微分関数を使用したトレーニングは、Gumbel-Softmax緩和推定量[37、26]に対して画像再構成の品質と後方線形分離性を10%改善し、テスト変量の下限を9%改善することを実証します。最新のRELAX [16]離散推定器との比較。また、画像分類設定では、ニューラルシーケンスのソートの精度が77%向上し、ストレート推定器[5]に対して25%向上しています。 DABネットワークは推論には使用されず、ニューラルネットワークで使用可能な機能のクラスを拡張します。
Modern neural network training relies on piece-wise (sub-)differentiable functions in order to use backpropagation to update model parameters. In this work, we introduce a novel method to allow simple non-differentiable functions at intermediary layers of deep neural networks. We do so by training with a differentiable approximation bridge (DAB) neural network which approximates the non-differentiable forward function and provides gradient updates during backpropagation. We present strong empirical results (performing over 600 experiments) in four different domains: unsupervised (image) representation learning, variational (image) density estimation, image classification, and sequence sorting to demonstrate that our proposed method improves state of the art performance. We demonstrate that training with DAB aided discrete non-differentiable functions improves image reconstruction quality and posterior linear separability by 10% against the Gumbel-Softmax relaxed estimator [37, 26] as well as providing a 9% improvement in the test variational lower bound in comparison to the state of the art RELAX [16] discrete estimator. We also observe an accuracy improvement of 77% in neural sequence sorting and a 25% improvement against the straight-through estimator [5] in an image classification setting. The DAB network is not used for inference and expands the class of functions that are usable in neural networks.
updated: Sat Oct 26 2019 01:41:50 GMT+0000 (UTC)
published: Thu May 09 2019 14:31:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト