限られた数の連続した観察から滑らかなアニメーションを生成することは、視覚において多くのアプリケーションを持っています。たとえば、1秒あたりのフレーム数を増やしたり、顔の感情の動きなど、最初と最後のフレームのみに基づいて新しい軌道を生成したりするために使用できます。離散的な観測データ(フレーム)にもかかわらず、新しい軌道を生成する問題は継続的な問題です。さらに、知覚的に現実的であるために、画像のドメインは、変化の軌跡によって大幅に変化してはなりません。この論文では、アニメーションの開始と終了を示す2つの(「離れた」)フレームを指定して、スムーズなアニメーション(ビデオフレーム補間)を連続的に生成するための新しいフレームワーク、WarpingNeuralODEを提案します。私たちのフレームワークの重要な特徴は、微分方程式のシステムから導出されたベクトル場に基づく画像の連続的な空間変換を利用することです。これにより、フレーム間の時間ステップが無限に小さいアニメーションの滑らかさとリアリズムを実現できます。敵対的生成ネットワーク(GAN)を含むさまざまなトレーニング設定で、L_2損失を使用して、2つのフレームを指定してアニメーションを生成する際の作業の適用を示します。
Generating smooth animations from a limited number of sequential observations has a number of applications in vision. For example, it can be used to increase number of frames per second, or generating a new trajectory only based on first and last frames, e.g. a motion of face emotions. Despite the discrete observed data (frames), the problem of generating a new trajectory is a continues problem. In addition, to be perceptually realistic, the domain of an image should not alter drastically through the trajectory of changes. In this paper, we propose a new framework, Warping Neural ODE, for generating a smooth animation (video frame interpolation) in a continuous manner, given two ("farther apart") frames, denoting the start and the end of the animation. The key feature of our framework is utilizing the continuous spatial transformation of the image based on the vector field, derived from a system of differential equations. This allows us to achieve the smoothness and the realism of an animation with infinitely small time steps between the frames. We show the application of our work in generating an animation given two frames, in different training settings, including Generative Adversarial Network (GAN) and with L_2 loss.