arXiv reaDer
DyNCA: ニューラル セル オートマトンを使用したリアルタイムの動的テクスチャ合成
DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
現在の動的テクスチャ合成 (DyTS) モデルは、リアルなビデオを合成できます。ただし、単一の固定サイズの短いビデオを合成するには、低速の反復最適化プロセスが必要であり、合成プロセスに対するトレーニング後の制御は提供されません。リアルタイムで制御可能な動的テクスチャ合成のフレームワークである動的神経細胞オートマトン (DyNCA) を提案します。私たちの方法は、最近導入された NCA モデルに基づいて構築されており、無限に長く、任意のサイズのリアルなビデオ テクスチャをリアルタイムで合成できます。モデルを定量的および定性的に評価し、合成されたビデオが既存の結果よりもリアルに見えることを示します。 SOTA DyTS のパフォーマンスを 2 ~ 4 桁向上させます。さらに、私たちのモデルは、モーション速度、モーション方向、編集ブラシ ツールなど、いくつかのリアルタイム ビデオ コントロールを提供します。ローカル ハードウェアで実行され、パーソナル コンピューターやスマートフォンからアクセスできるオンラインのインタラクティブなデモで、トレーニング済みのモデルを展示します。
Current Dynamic Texture Synthesis (DyTS) models can synthesize realistic videos. However, they require a slow iterative optimization process to synthesize a single fixed-size short video, and they do not offer any post-training control over the synthesis process. We propose Dynamic Neural Cellular Automata (DyNCA), a framework for real-time and controllable dynamic texture synthesis. Our method is built upon the recently introduced NCA models and can synthesize infinitely long and arbitrary-sized realistic video textures in real time. We quantitatively and qualitatively evaluate our model and show that our synthesized videos appear more realistic than the existing results. We improve the SOTA DyTS performance by 2∼4 orders of magnitude. Moreover, our model offers several real-time video controls including motion speed, motion direction, and an editing brush tool. We exhibit our trained models in an online interactive demo that runs on local hardware and is accessible on personal computers and smartphones.
updated: Thu Mar 30 2023 21:56:33 GMT+0000 (UTC)
published: Mon Nov 21 2022 13:01:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト