動的テクスチャ合成の主な課題は、合成されたビデオの空間的および時間的一貫性をどのように維持するかにあります。既存の動的テクスチャ合成モデルの主な欠点は、長距離のテクスチャ相関とモーション情報の扱いが不十分なことです。この問題に対処するために、シフトグラム損失と呼ばれる新しい損失項を組み込んで、参照テクスチャビデオの構造的および長距離相関をキャプチャします。さらに、複数のフレームにわたる長周期の動きを活用するためのフレームサンプリング戦略を紹介します。これら2つの新しい手法により、既存のテクスチャ合成モデルの適用範囲を拡大できます。つまり、均質なだけでなく、構造化された動的テクスチャパターンも合成できます。徹底的な実験結果は、提案された動的テクスチャ合成モデルが最先端の視覚的パフォーマンスを提供することを実証するために提供されています。
The main challenge of dynamic texture synthesis lies in how to maintain spatial and temporal consistency in synthesized videos. The major drawback of existing dynamic texture synthesis models comes from poor treatment of the long-range texture correlation and motion information. To address this problem, we incorporate a new loss term, called the Shifted Gram loss, to capture the structural and long-range correlation of the reference texture video. Furthermore, we introduce a frame sampling strategy to exploit long-period motion across multiple frames. With these two new techniques, the application scope of existing texture synthesis models can be extended. That is, they can synthesize not only homogeneous but also structured dynamic texture patterns. Thorough experimental results are provided to demonstrate that our proposed dynamic texture synthesis model offers state-of-the-art visual performance.