arXiv reaDer
動的パターンのためのエネルギーベースの空間時間生成ConvNetの学習
Learning Energy-based Spatial-Temporal Generative ConvNets for Dynamic Patterns
  ビデオシーケンスには、時間領域で定常性を示す動的テクスチャパターンや、空間または時間領域で非定常であるアクションパターンなど、豊富な動的パターンが含まれます。エネルギーベースの空間時間生成ConvNetを使用して、動的パターンをモデル化および合成できることを示します。このモデルは、ビデオシーケンスの確率分布を定義し、対数確率は、異なるスケールの時空間パターンをキャプチャするための時空間フィルターの複数のレイヤーで構成される時空間ConvNetによって定義されます。このモデルは、次の2つのステップを繰り返す「合成による分析」学習アルゴリズムにより、トレーニングビデオシーケンスから学習できます。ステップ1は、現在学習したモデルからビデオシーケンスを合成します。次に、ステップ2は、合成されたビデオシーケンスと観測されたトレーニングシーケンスの違いに基づいてモデルパラメータを更新します。学習アルゴリズムが現実的な動的パターンを合成できることを示します。また、オクルードピクセルまたは欠落フレームのある不完全なトレーニングシーケンスからモデルを学習できるため、モデル学習とパターン補完を同時に実行できることも示しています。
Video sequences contain rich dynamic patterns, such as dynamic texture patterns that exhibit stationarity in the temporal domain, and action patterns that are non-stationary in either spatial or temporal domain. We show that an energy-based spatial-temporal generative ConvNet can be used to model and synthesize dynamic patterns. The model defines a probability distribution on the video sequence, and the log probability is defined by a spatial-temporal ConvNet that consists of multiple layers of spatial-temporal filters to capture spatial-temporal patterns of different scales. The model can be learned from the training video sequences by an "analysis by synthesis" learning algorithm that iterates the following two steps. Step 1 synthesizes video sequences from the currently learned model. Step 2 then updates the model parameters based on the difference between the synthesized video sequences and the observed training sequences. We show that the learning algorithm can synthesize realistic dynamic patterns. We also show that it is possible to learn the model from incomplete training sequences with either occluded pixels or missing frames, so that model learning and pattern completion can be accomplished simultaneously.
updated: Thu Sep 26 2019 08:36:15 GMT+0000 (UTC)
published: Thu Sep 26 2019 08:36:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト