arXiv reaDer
ビデオ シーケンスの変換ベースのモデル
Transformation-Based Models of Video Sequences
この作業では、ビデオの次のフレームを予測するための単純な教師なしアプローチを提案します。過去のフレームからフレーム内のピクセルを直接予測する代わりに、過去のフレームの変換から、シーケンス内の次のフレームを生成するために必要な変換を予測します。これにより、より小さな予測モデルを使用しながら、よりシャープな結果が得られます。異なるビデオ フレーム予測モデル間の公正な比較を可能にするために、新しい評価プロトコルも提案します。生成されたフレームを、グラウンド トゥルース シーケンスでトレーニングされた分類器への入力として使用します。この基準は、もっともらしいかどうかにかかわらず、グラウンド トゥルースからの逸脱を単に罰するのではなく、識別可能な特徴を保持するシーケンスを生成するモデルが高いスコアを獲得することを保証します。私たちの提案したアプローチは、UCF-101 データセットのより洗練されたアプローチと比較して有利であり、パラメーターの数と計算コストの点でもより効率的です。
In this work we propose a simple unsupervised approach for next frame prediction in video. Instead of directly predicting the pixels in a frame given past frames, we predict the transformations needed for generating the next frame in a sequence, given the transformations of the past frames. This leads to sharper results, while using a smaller prediction model. In order to enable a fair comparison between different video frame prediction models, we also propose a new evaluation protocol. We use generated frames as input to a classifier trained with ground truth sequences. This criterion guarantees that models scoring high are those producing sequences which preserve discriminative features, as opposed to merely penalizing any deviation, plausible or not, from the ground truth. Our proposed approach compares favourably against more sophisticated ones on the UCF-101 data set, while also being more efficient in terms of the number of parameters and computational cost.
updated: Mon Feb 06 2023 14:49:05 GMT+0000 (UTC)
published: Sun Jan 29 2017 21:39:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト