arXiv reaDer
オイラーモーションフィールドを使用した画像のアニメーション
Animating Pictures with Eulerian Motion Fields
この論文では、静止画像をリアルなアニメーションループビデオに変換するための完全自動化された方法を示します。流れる水や渦巻く煙など、継続的な流体の動きのあるシーンをターゲットにしています。私たちの方法は、このタイプの自然運動が静的オイラー運動記述、つまり、与えられた2D位置での粒子の即時運動を定義する単一の時間的に一定の流れ場から説得力を持って再現できるという観察に依存しています。画像から画像への変換ネットワークを使用して、オンラインビデオから収集された自然シーンのモーションプライアをエンコードします。これにより、新しい写真の場合、対応するモーションフィールドを合成できます。次に、ディープワーピング手法によって生成されたモーションを使用して画像がアニメーション化されます。ピクセルはディープフィーチャとしてエンコードされ、これらのフィーチャはオイラーモーションによってワープされ、結果のワープされたフィーチャマップは画像としてデコードされます。連続的でシームレスにループするビデオテクスチャを生成するために、時間の前後に特徴を流し、結果をブレンドする新しいビデオループ技術を提案します。私たちは、ビーチ、滝、流れる川などの多数の例のコレクションに適用することにより、この方法の有効性と堅牢性を示しています。
In this paper, we demonstrate a fully automatic method for converting a still image into a realistic animated looping video. We target scenes with continuous fluid motion, such as flowing water and billowing smoke. Our method relies on the observation that this type of natural motion can be convincingly reproduced from a static Eulerian motion description, i.e. a single, temporally constant flow field that defines the immediate motion of a particle at a given 2D location. We use an image-to-image translation network to encode motion priors of natural scenes collected from online videos, so that for a new photo, we can synthesize a corresponding motion field. The image is then animated using the generated motion through a deep warping technique: pixels are encoded as deep features, those features are warped via Eulerian motion, and the resulting warped feature maps are decoded as images. In order to produce continuous, seamlessly looping video textures, we propose a novel video looping technique that flows features both forward and backward in time and then blends the results. We demonstrate the effectiveness and robustness of our method by applying it to a large collection of examples including beaches, waterfalls, and flowing rivers.
updated: Mon Nov 30 2020 18:59:06 GMT+0000 (UTC)
published: Mon Nov 30 2020 18:59:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト