arXiv reaDer
On the Convergence of Extended Variational Inference for Non-Gaussian Statistical Models
 変分推論(VI)は、ベイズ推定で広く使用されているフレームワークです。ほとんどの非ガウス統計モデルでは、分析的に扱いやすい解を見つけてパラメーターの事後分布を推定することは不可能です。最近、改良されたフレームワーク、すなわち拡張変分推論(EVI)が導入され、変分目的関数への下限近似を採用することにより分析的に扱いやすいソリューションを導き出しました。 EVIの実装に必要な2つの条件、つまり、弱い条件と強い条件について、このペーパーで説明し、比較します。実際の実装では、EVIの収束は、弱い条件または強い条件に関係なく、下限近似の選択に依存します。一般に、単一の下限(SLB)近似と複数の下限(MLB)近似の2つの近似戦略を適用して、下限の近似を実行できます。 SLBとMLBの違いを明確にするために、前述の2つの近似の収束特性についても説明します。既存のEVIベースの非ガウス統計モデルに基づいて、広範な比較が行われます。弱い条件と強い条件の違いを示すために、理論的な分析が行われます。 SLB近似の利点を示すために、定性的および定量的な実験結果が提示されています。
Variational inference (VI) is a widely used framework in Bayesian estimation. For most of the non-Gaussian statistical models, it is infeasible to find an analytically tractable solution to estimate the posterior distributions of the parameters. Recently, an improved framework, namely the extended variational inference (EVI), has been introduced and applied to derive analytically tractable solution by employing lower-bound approximation to the variational objective function. Two conditions required for EVI implementation, namely the weak condition and the strong condition, are discussed and compared in this paper. In practical implementation, the convergence of the EVI depends on the selection of the lower-bound approximation, no matter with the weak condition or the strong condition. In general, two approximation strategies, the single lower-bound (SLB) approximation and the multiple lower-bounds (MLB) approximation, can be applied to carry out the lower-bound approximation. To clarify the differences between the SLB and the MLB, we will also discuss the convergence properties of the aforementioned two approximations. Extensive comparisons are made based on some existing EVI-based non-Gaussian statistical models. Theoretical analysis are conducted to demonstrate the differences between the weak and the strong conditions. Qualitative and quantitative experimental results are presented to show the advantages of the SLB approximation.
updated: Thu Jan 30 2020 15:13:08 GMT+0000 (UTC)
published: Wed Feb 13 2019 07:35:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト