arXiv reaDer
VideoFlow:確率的ビデオ生成のための条件付きフローベースモデル
VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation
 将来のイベントのシーケンスをモデル化および予測できる生成モデルは、原則として、物理的な相互作用などの複雑な現実世界の現象をキャプチャすることを学習できます。ただし、ビデオ予測の中心的な課題は、将来が非常に不確実であることです。過去の一連のイベントの観測は、多くの可能性のある未来を暗示します。多くの最近の研究は不確実な未来を表す確率モデルを研究していますが、そのようなモデルはピクセルレベルの自己回帰モデルの場合のように計算的に非常に高価であるか、データの尤度を直接最適化しません。私たちの知る限り、我々の仕事は、データ尤度の直接最適化を可能にし、高品質の確率的予測を生成する、正規化フローを使用したマルチフレームビデオ予測を提案した最初のものです。潜在空間ダイナミクスをモデリングするためのアプローチを説明し、フローベースの生成モデルがビデオの生成モデリングに対して実行可能で競争力のあるアプローチを提供することを示します。
Generative models that can model and predict sequences of future events can, in principle, learn to capture complex real-world phenomena, such as physical interactions. However, a central challenge in video prediction is that the future is highly uncertain: a sequence of past observations of events can imply many possible futures. Although a number of recent works have studied probabilistic models that can represent uncertain futures, such models are either extremely expensive computationally as in the case of pixel-level autoregressive models, or do not directly optimize the likelihood of the data. To our knowledge, our work is the first to propose multi-frame video prediction with normalizing flows, which allows for direct optimization of the data likelihood, and produces high-quality stochastic predictions. We describe an approach for modeling the latent space dynamics, and demonstrate that flow-based generative models offer a viable and competitive approach to generative modelling of video.
updated: Wed Feb 12 2020 16:55:25 GMT+0000 (UTC)
published: Mon Mar 04 2019 18:55:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト