arXiv reaDer
映画を見てカットすることを学ぶ
Learning to Cut by Watching Movies
ビデオコンテンツの作成は、信じられないほどのペースで成長し続けています。それでも、魅力的なストーリーを作成することは依然として困難であり、重要なビデオ編集の専門知識が必要です。多くのビデオ編集コンポーネントは、主に生のビデオ素材が不足しているため、自動化が驚くほど困難です。この論文は、計算ビデオ編集の新しいタスク、すなわちカットの妥当性を掻き集めるタスクに焦点を当てています。私たちの重要なアイデアは、カットをトリガーするきめの細かい視聴覚パターンを学習するために、すでに編集されたコンテンツを活用することです。これを行うために、最初に10Kを超えるビデオのデータソースを収集し、そこから255Kを超えるカットを抽出しました。対照的な学習を通じて、実際のカットと人工的なカットを区別することを学習するモデルを考案します。ビデオカットの生成をベンチマークするために、新しいタスクと一連のベースラインを設定しました。提案されたモデルは、ベースラインを大幅に上回っています。実際のアプリケーションでモデルを実証するために、編集されていないビデオのコレクションで人間の研究を行います。結果は、私たちのモデルがランダムな代替ベースラインよりもカットで優れた仕事をしていることを示しています。
Video content creation keeps growing at an incredible pace; yet, creating engaging stories remains challenging and requires non-trivial video editing expertise. Many video editing components are astonishingly hard to automate primarily due to the lack of raw video materials. This paper focuses on a new task for computational video editing, namely the task of raking cut plausibility. Our key idea is to leverage content that has already been edited to learn fine-grained audiovisual patterns that trigger cuts. To do this, we first collected a data source of more than 10K videos, from which we extract more than 255K cuts. We devise a model that learns to discriminate between real and artificial cuts via contrastive learning. We set up a new task and a set of baselines to benchmark video cut generation. We observe that our proposed model outperforms the baselines by large margins. To demonstrate our model in real-world applications, we conduct human studies in a collection of unedited videos. The results show that our model does a better job at cutting than random and alternative baselines.
updated: Mon Aug 09 2021 18:37:17 GMT+0000 (UTC)
published: Mon Aug 09 2021 18:37:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト