arXiv reaDer
Kernelized Similarity Learning and Embedding for Dynamic Texture Synthesis
動的テクスチャ(DT)は、空間領域で統計的定常性を示し、時間次元で確率的反復性を示します。これは、DTのさまざまなフレームが重要な事前知識である高い類似性相関を持っていることを示しています。ただし、既存の方法では、少数のトレーニングデータから高次元DTの有望な合成モデルを効果的に学習することはできません。本論文では、この問題に対処するために類似性の事前知識を最大限に活用する新しいDT合成法を提案する。私たちの方法は、提案されたカーネル類似性埋め込みに基づいています。これは、高次元性と小さなサンプルの問題を軽減できるだけでなく、非線形特徴関係をモデル化するという利点もあります。具体的には、まず、DTモデルが類似性相関を使用して新しいフレームを生成するために不可欠な2つの仮説を立てます。次に、カーネル学習とエクストリームラーニングマシンを統合合成モデルに統合して、DTを表すためのカーネル類似性埋め込みを学習します。インターネットと2つのベンチマークデータセット、つまりGatech Graphcut TexturesとDyntexから収集されたDTビデオに関する広範な実験は、学習されたカーネル類似性埋め込みがDTの識別表現を効果的に示すことができることを示しています。したがって、我々の方法は、優れた持続可能性と一般化で、合成されたDTシーケンスの長期的な時間的連続性を維持することができます。一方、最先端の方法と比較して、高速で計算量の少ないリアルなDTビデオを効果的に生成します。コードおよびその他の合成ビデオは、プロジェクトページで入手できます。
Dynamic texture (DT) exhibits statistical stationarity in the spatial domain and stochastic repetitiveness in the temporal dimension, indicating that different frames of DT possess a high similarity correlation that is critical prior knowledge. However, existing methods cannot effectively learn a promising synthesis model for high-dimensional DT from a small number of training data. In this paper, we propose a novel DT synthesis method, which makes full use of similarity prior knowledge to address this issue. Our method bases on the proposed kernel similarity embedding, which not only can mitigate the high-dimensionality and small sample issues, but also has the advantage of modeling nonlinear feature relationship. Specifically, we first raise two hypotheses that are essential for DT model to generate new frames using similarity correlation. Then, we integrate kernel learning and extreme learning machine into a unified synthesis model to learn kernel similarity embedding for representing DT. Extensive experiments on DT videos collected from the internet and two benchmark datasets, i.e., Gatech Graphcut Textures and Dyntex, demonstrate that the learned kernel similarity embedding can effectively exhibit the discriminative representation for DT. Accordingly, our method is capable of preserving the long-term temporal continuity of the synthesized DT sequences with excellent sustainability and generalization. Meanwhile, it effectively generates realistic DT videos with fast speed and low computation, compared with the state-of-the-art methods. The code and more synthesis videos are available at our project page
updated: Fri Jul 01 2022 14:32:40 GMT+0000 (UTC)
published: Mon Nov 11 2019 13:37:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト