与えられた一連の言語記述に基づいてビデオを生成するアプローチを紹介します。ビデオのフレームは順次生成され、CLIP 画像テキスト エンコーダーからのガイダンスによって最適化されます。言語の説明を反復し、現在の説明を他の説明よりも高く重み付けします。計算量が多くなりがちなイメージ ジェネレーター モデル自体による最適化とは対照的に、提案されたアプローチは、CLIP 損失をピクセル レベルで直接計算し、ほぼリアルタイムのシステムに適した速度で一般的なコンテンツを実現します。このアプローチでは、最大 720p の解像度、可変フレームレート、および任意のアスペクト比で、毎秒 1 ~ 2 フレームの速度でビデオを生成できます。ビデオを表示し、オープンソース コードにアクセスするには、当社の Web サイトにアクセスしてください: https://pschaldenbrand.github.io/text2video/ 。
We introduce an approach to generating videos based on a series of given language descriptions. Frames of the video are generated sequentially and optimized by guidance from the CLIP image-text encoder; iterating through language descriptions, weighting the current description higher than others. As opposed to optimizing through an image generator model itself, which tends to be computationally heavy, the proposed approach computes the CLIP loss directly at the pixel level, achieving general content at a speed suitable for near real-time systems. The approach can generate videos in up to 720p resolution, variable frame-rates, and arbitrary aspect ratios at a rate of 1-2 frames per second. Please visit our website to view videos and access our open-source code: https://pschaldenbrand.github.io/text2video/ .