ビデオは、多くの場合、最初にシーンの全体的な説明の概要を説明し、次にローカルの詳細を追加することで作成できます。これに触発されて、粗いアプローチから細かいアプローチに続くビデオ生成の階層モデルを提案します。最初に、私たちのモデルは低解像度のビデオを生成し、グローバル シーン構造を確立します。次に、階層の後続のレベルによって洗練されます。ビデオの部分的なビューに基づいて、階層の各レベルを順番にトレーニングします。これにより、数フレームを超える高解像度ビデオにスケーリングする生成モデルの計算の複雑さが軽減されます。 Kinetics-600 と BDD100K でアプローチを検証し、48 フレームで 256x256 のビデオを生成できる 3 レベル モデルをトレーニングします。
Videos can often be created by first outlining a global description of the scene and then adding local details. Inspired by this we propose a hierarchical model for video generation which follows a coarse to fine approach. First our model generates a low resolution video, establishing the global scene structure, that is then refined by subsequent levels in the hierarchy. We train each level in our hierarchy sequentially on partial views of the videos. This reduces the computational complexity of our generative model, which scales to high-resolution videos beyond a few frames. We validate our approach on Kinetics-600 and BDD100K, for which we train a three level model capable of generating 256x256 videos with 48 frames.