文献にある現在の動的テクスチャ合成 (DyTS) モデルは、リアルなビデオを合成できます。ただし、これらの方法では、単一の固定サイズの短いビデオを合成するために低速の反復最適化プロセスが必要であり、合成プロセスに対するトレーニング後の制御は提供されません。リアルタイムで制御可能な動的テクスチャ合成のフレームワークである動的神経細胞オートマトン (DyNCA) を提案します。私たちの方法は、最近導入された NCA モデルに基づいて構築されており、無限に長く、任意のサイズのリアルなテクスチャ ビデオをリアルタイムで合成できます。モデルを定量的および定性的に評価し、合成されたビデオが既存の結果よりもリアルに見えることを示します。 SOTA DyTS のパフォーマンスを 2 ~ 4 桁向上させます。さらに、私たちのモデルは、モーション速度、モーション方向、編集ブラシ ツールなど、いくつかのリアルタイムでインタラクティブなビデオ コントロールを提供します。
Current Dynamic Texture Synthesis (DyTS) models in the literature can synthesize realistic videos. However, these methods require a slow iterative optimization process to synthesize a single fixed-size short video, and they do not offer any post-training control over the synthesis process. We propose Dynamic Neural Cellular Automata (DyNCA), a framework for real-time and controllable dynamic texture synthesis. Our method is built upon the recently introduced NCA models, and can synthesize infinitely-long and arbitrary-size realistic texture videos in real-time. We quantitatively and qualitatively evaluate our model and show that our synthesized videos appear more realistic than the existing results. We improve the SOTA DyTS performance by 2∼4 orders of magnitude. Moreover, our model offers several real-time and interactive video controls including motion speed, motion direction, and an editing brush tool.