隠れマルコフモデル(HMM)は、一般にシーケンシャルデータと時系列をモデル化するための強力な生成アプローチを構成します。ただし、現在の時間枠が直前の1つまたは複数の枠に依存しているという一般的に採用されている仮定は非現実的です。より複雑なダイナミクスは、実際のシナリオに存在する可能性があります。このホワイトペーパーでは、時間とともに変化する時間依存パターンをキャプチャする問題に対処することを目的として、従来のシーケンシャルモデリングアプローチを再検討します。この目的のために、過去のフレームへの依存性がデータから動的に推測される、HMMの異なる定式化を提案します。具体的には、追加の潜在変数層を仮定することにより、階層拡張を導入します。その中で、(時間変化する)時間依存パターンは、推論が実行される潜在変数として扱われます。変分ベイズフレームワークからの確固たる議論を活用し、フォワードバックワードアルゴリズムに基づいて扱いやすい推論アルゴリズムを導き出します。実験的に示すように、私たちのアプローチは非常に複雑なシーケンシャルデータをモデル化でき、欠測値のあるデータを効果的に処理できます。
Hidden Markov Models (HMMs) comprise a powerful generative approach for modeling sequential data and time-series in general. However, the commonly employed assumption of the dependence of the current time frame to a single or multiple immediately preceding frames is unrealistic; more complicated dynamics potentially exist in real world scenarios. This paper revisits conventional sequential modeling approaches, aiming to address the problem of capturing time-varying temporal dependency patterns. To this end, we propose a different formulation of HMMs, whereby the dependence on past frames is dynamically inferred from the data. Specifically, we introduce a hierarchical extension by postulating an additional latent variable layer; therein, the (time-varying) temporal dependence patterns are treated as latent variables over which inference is performed. We leverage solid arguments from the Variational Bayes framework and derive a tractable inference algorithm based on the forward-backward algorithm. As we experimentally show, our approach can model highly complex sequential data and can effectively handle data with missing values.