ビデオ予測モデルの研究は、ビデオの表現学習への基本的なアプローチであると考えられています。過去数フレームを考慮して将来のフレームピクセル値を予測するための生成モデルは多数存在しますが、予測されたフレームの定量的評価は非常に困難であることがわかっています。これに関連して、予測されたビデオがどのように自然または現実的に見えるかを指す自然性評価の問題を紹介します。さまざまなデータセットにさまざまな予測モデルを適用し、人間の意見のスコアを添付して取得した300本のビデオで構成されるインド科学研究所VIdeo自然性評価(IISc VINE)データベースを作成します。これらの動画について、50人の参加者から自然の主観的な評価を収集しました。私たちの主観的な研究は、人間の観察者が自然の判断において非常に一貫していたことを明らかにしています。ビデオ予測を評価するために一般的に使用されているいくつかの指標をベンチマークし、それらがこれらの主観的なスコアと適切に相関していないことを示します。自然さを効果的にキャプチャするための2つの新機能、過去のフレームと予測されたフレームの深い特徴の動き補償されたコサイン類似性、および再スケーリングされたフレームの違いから抽出された深い特徴を紹介します。私たちの機能設計が、IIScVINEデータベースでの人間の判断に従った最先端の自然性予測につながることを示します。データベースとコードは、プロジェクトのWebサイトで公開されています:https://nagabhushansn95.github.io/publications/2020/vine
The study of video prediction models is believed to be a fundamental approach to representation learning for videos. While a plethora of generative models for predicting the future frame pixel values given the past few frames exist, the quantitative evaluation of the predicted frames has been found to be extremely challenging. In this context, we introduce the problem of naturalness evaluation, which refers to how natural or realistic a predicted video looks. We create the Indian Institute of Science VIdeo Naturalness Evaluation (IISc VINE) Database consisting of 300 videos, obtained by applying different prediction models on different datasets, and accompanying human opinion scores. We collected subjective ratings of naturalness from 50 human participants for these videos. Our subjective study reveals that human observers were highly consistent in their judgments of naturalness. We benchmark several popularly used measures for evaluating video prediction and show that they do not adequately correlate with these subjective scores. We introduce two new features to effectively capture naturalness, motion-compensated cosine similarities of deep features of predicted frames with past frames, and deep features extracted from rescaled frame differences. We show that our feature design leads to state of the art naturalness prediction in accordance with human judgments on our IISc VINE Database. The database and code are publicly available on our project website: https://nagabhushansn95.github.io/publications/2020/vine