時空間イメージングは医用イメージングで一般的であり、心臓診断、外科的ガイダンス、放射線治療モニタリングなどに応用されています。この論文では、シーケンシャル画像のみに基づいて、システムの基礎となるダイナミクスを識別する教師なしモデルを提示します。モデルは、入力を低次元の潜在空間にマッピングします。この潜在空間では、隠れた状態のプロセスと観測された潜在プロセスの間に線形関係が成り立ちます。システムダイナミクスの知識により、ノイズ除去、欠落値の代入、および将来の画像フレームの外挿が可能になります。次元削減には変分オートエンコーダー(VAE)を使用し、潜在ダイナミクスには線形ガウス状態空間モデル(LGSSM)を使用します。カルマン変分オートエンコーダーとして知られるモデルは、エンドツーエンドでトレーニング可能であり、VAEとLGSSMの両方の重みは、限界対数尤度の証拠の下限を最大化することによって同時に更新されます。心臓超音波時系列に関する私たちの実験は、動的モデルが、ダイナミクスのない同様のモデルよりも優れた再構成を提供することを示しています。また、欠落しているサンプルを代入して推定する可能性もあります。
Spatiotemporal imaging is common in medical imaging, with applications in e.g. cardiac diagnostics, surgical guidance and radiotherapy monitoring. In this paper, we present an unsupervised model that identifies the underlying dynamics of the system, only based on the sequential images. The model maps the input to a low-dimensional latent space wherein a linear relationship holds between a hidden state process and the observed latent process. Knowledge of the system dynamics enables denoising, imputation of missing values and extrapolation of future image frames. We use a Variational Auto-Encoder (VAE) for the dimensionality reduction and a Linear Gaussian State Space Model (LGSSM) for the latent dynamics. The model, known as a Kalman Variational Auto-Encoder, is end-to-end trainable and the weights, both in the VAE and LGSSM, are simultaneously updated by maximizing the evidence lower bound of the marginal log likelihood. Our experiment, on cardiac ultrasound time series, shows that the dynamical model provide better reconstructions than a similar model without dynamics. And also possibility to impute and extrapolate for missing samples.