arXiv reaDer
Generative Video Transformer: Can Objects be the Words?
トランスフォーマーは、多くの自然言語処理タスクで成功しています。ただし、長期的なビデオ生成やシーンの理解などのタスクのためにビデオドメインにトランスフォーマーを適用することは、計算の複雑さが高く、自然なトークン化がないため、とらえどころのないままです。本論文では、オブジェクト中心のアプローチを利用してシーンを生成ビデオトランスフォーマーでの使用に適したトークンに分解するオブジェクト中心のビデオトランスフォーマー(OCVT)を提案します。ビデオをオブジェクトに分解することにより、完全に監視されていないモデルは、シーン内の複数の相互作用するオブジェクトの複雑な時空間ダイナミクスを学習し、ビデオの将来のフレームを生成できます。また、私たちのモデルは、ピクセルベースのモデルよりもメモリ効率が大幅に高いため、単一の48GBGPUで最大70フレームの長さのビデオをトレーニングできます。モデルを以前のRNNベースのアプローチや他の可能なビデオトランスフォーマーベースラインと比較します。将来のフレームを生成する際にベースラインと比較した場合、OCVTが良好に機能することを示します。 OCVTはまた、ビデオ推論に役立つ表現を開発し、CATERタスクで最先端のパフォーマンスを実現します。
Transformers have been successful for many natural language processing tasks. However, applying transformers to the video domain for tasks such as long-term video generation and scene understanding has remained elusive due to the high computational complexity and the lack of natural tokenization. In this paper, we propose the Object-Centric Video Transformer (OCVT) which utilizes an object-centric approach for decomposing scenes into tokens suitable for use in a generative video transformer. By factoring the video into objects, our fully unsupervised model is able to learn complex spatio-temporal dynamics of multiple interacting objects in a scene and generate future frames of the video. Our model is also significantly more memory-efficient than pixel-based models and thus able to train on videos of length up to 70 frames with a single 48GB GPU. We compare our model with previous RNN-based approaches as well as other possible video transformer baselines. We demonstrate OCVT performs well when compared to baselines in generating future frames. OCVT also develops useful representations for video reasoning, achieving start-of-the-art performance on the CATER task.
updated: Tue Jul 20 2021 03:08:39 GMT+0000 (UTC)
published: Tue Jul 20 2021 03:08:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト