GANは、単一のビデオでトレーニングされた生成および操作タスクを実行できます。ただし、これらの単一ビデオGANは、単一ビデオでトレーニングするのに不当な時間を必要とし、ほとんど実用的ではありません。このホワイトペーパーでは、単一のビデオから生成するためのGANの必要性に疑問を投げかけ、さまざまな生成および操作タスクのノンパラメトリックベースラインを紹介します。古典的な時空パッチ-最近傍アプローチを復活させ、学習することなく、それらをスケーラブルな無条件生成モデルに適応させます。この単純なベースラインは、視覚的な品質とリアリズムにおいてシングルビデオGANを驚くほど上回り(定量的および定性的評価によって確認されます)、不釣り合いに高速です(実行時間が数日から数秒に短縮されました)。私たちのアプローチは、フルHDビデオに簡単に拡張できます。また、同じフレームワークを使用して、ビデオのアナロジーと時空間リターゲティングを示します。これらの観察結果は、古典的なアプローチがこれらのタスクの重い深層学習機構を大幅に上回っていることを示しています。これにより、単一ビデオの生成および操作タスクの新しいベースラインが設定され、それほど重要ではありません。単一ビデオからの多様な生成が実際に初めて可能になります。
GANs are able to perform generation and manipulation tasks, trained on a single video. However, these single video GANs require unreasonable amount of time to train on a single video, rendering them almost impractical. In this paper we question the necessity of a GAN for generation from a single video, and introduce a non-parametric baseline for a variety of generation and manipulation tasks. We revive classical space-time patches-nearest-neighbors approaches and adapt them to a scalable unconditional generative model, without any learning. This simple baseline surprisingly outperforms single-video GANs in visual quality and realism (confirmed by quantitative and qualitative evaluations), and is disproportionately faster (runtime reduced from several days to seconds). Our approach is easily scaled to Full-HD videos. We also use the same framework to demonstrate video analogies and spatio-temporal retargeting. These observations show that classical approaches significantly outperform heavy deep learning machinery for these tasks. This sets a new baseline for single-video generation and manipulation tasks, and no less important -- makes diverse generation from a single video practically possible for the first time.