arXiv reaDer
静止画像内の流体要素の制御可能なアニメーション
Controllable Animation of Fluid Elements in Still Images
シネマグラフを生成するために、静止画像内の流体要素のアニメーションをインタラクティブに制御する方法を提案します。具体的には、水、煙、火などの流体要素のアニメーションに焦点を当てます。これらの要素は、テクスチャを繰り返し、流体の動きを継続するという特性を備えています。以前の作品からインスピレーションを得て、一定の2Dオプティカルフローマップの形式で画像内のそのような流体要素の動きを表現します。この目的のために、ユーザーがアニメーション化する領域のマスクとともに、任意の数の矢印の方向とそれに関連する速度を提供できるようにします。次に、ユーザーが指定した入力矢印の方向、対応する速度値、およびマスクが、一定のオプティカルフローマップ(FD)を表す高密度フローマップに変換されます。単純な指数演算を使用して取得されたFDは、画像内の要素のもっともらしい動きを厳密に近似できることがわかります。生成的敵対的ネットワーク(GAN)を使用して、計算された高密度オプティカルフローマップFDをさらに改良し、より現実的なフローマップを取得します。さまざまな解像度で入力画像の特徴を順方向にワープすることにより、洗練されたオプティカルフローマップを使用して将来のフレームを自動回帰的に生成する新しいUNetベースのアーキテクチャを考案します。公開されているデータセットに対して広範な実験を実施し、定性的および定量的メトリックの点で、私たちの方法がベースラインよりも優れていることを示しています。さらに、トレーニングセットには存在しなかった方向のオブジェクトの定性的なアニメーションを示し、現実の世界には存在しなかったビデオを合成する方法を提供します。
We propose a method to interactively control the animation of fluid elements in still images to generate cinemagraphs. Specifically, we focus on the animation of fluid elements like water, smoke, fire, which have the properties of repeating textures and continuous fluid motion. Taking inspiration from prior works, we represent the motion of such fluid elements in the image in the form of a constant 2D optical flow map. To this end, we allow the user to provide any number of arrow directions and their associated speeds along with a mask of the regions the user wants to animate. The user-provided input arrow directions, their corresponding speed values, and the mask are then converted into a dense flow map representing a constant optical flow map (FD). We observe that FD, obtained using simple exponential operations can closely approximate the plausible motion of elements in the image. We further refine computed dense optical flow map FD using a generative-adversarial network (GAN) to obtain a more realistic flow map. We devise a novel UNet based architecture to autoregressively generate future frames using the refined optical flow map by forward-warping the input image features at different resolutions. We conduct extensive experiments on a publicly available dataset and show that our method is superior to the baselines in terms of qualitative and quantitative metrics. In addition, we show the qualitative animations of the objects in directions that did not exist in the training set and provide a way to synthesize videos that otherwise would not exist in the real world.
updated: Mon Dec 06 2021 13:53:08 GMT+0000 (UTC)
published: Mon Dec 06 2021 13:53:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト