arXiv reaDer
ACAV100M:視聴覚ビデオ表現学習のための大規模データセットの自動キュレーション
ACAV100M: Automatic Curation of Large-Scale Datasets for Audio-Visual Video Representation Learning
視覚的観察とそれに対応する音の間の自然な関連性は、ビデオ表現を学習するための強力な自己監視信号を提供します。これにより、増え続けるオンラインビデオがトレーニングデータの魅力的なソースになります。ただし、オンラインビデオの大部分には、編集/オーバーダビングされたオーディオのために無関係なオーディオビジュアル信号が含まれており、そのようなキュレーションされていないビデオでトレーニングされたモデルは、次善の表現を学習することが示されています。したがって、既存のアプローチは、視聴覚対応の可能性が高いセマンティック概念の事前定義された分類法を持つデータセットにほぼ排他的に依存しています。残念ながら、そのようなデータセットを構築するには、労働集約的な手動の注釈や検証が必要であり、大規模な学習のためのオンラインビデオの有用性が大幅に制限されます。この作業では、サブセットの最適化に基づく自動データセットキュレーションアプローチを紹介します。目的は、ビデオのオーディオチャネルとビジュアルチャネル間の相互情報量を最大化することです。私たちのアプローチが視聴覚対応の高いビデオを見つけることを示し、データでトレーニングされた自己監視モデルが、既存の手動でキュレーションされたデータセットでトレーニングされたモデルと比較して競争力のあるパフォーマンスを達成することを示します。私たちのアプローチの最も重要な利点はスケーラビリティです。私たちは、自己監視ビデオ表現学習に理想的な、視聴覚対応の高い1億本のビデオを含むACAV100Mをリリースします。
The natural association between visual observations and their corresponding sound provides powerful self-supervisory signals for learning video representations, which makes the ever-growing amount of online videos an attractive source of training data. However, large portions of online videos contain irrelevant audio-visual signals because of edited/overdubbed audio, and models trained on such uncurated videos have shown to learn suboptimal representations. Therefore, existing approaches rely almost exclusively on datasets with predetermined taxonomies of semantic concepts, where there is a high chance of audio-visual correspondence. Unfortunately, constructing such datasets require labor intensive manual annotation and/or verification, which severely limits the utility of online videos for large-scale learning. In this work, we present an automatic dataset curation approach based on subset optimization where the objective is to maximize the mutual information between audio and visual channels in videos. We demonstrate that our approach finds videos with high audio-visual correspondence and show that self-supervised models trained on our data achieve competitive performances compared to models trained on existing manually curated datasets. The most significant benefit of our approach is scalability: We release ACAV100M that contains 100 million videos with high audio-visual correspondence, ideal for self-supervised video representation learning.
updated: Tue Aug 17 2021 02:07:35 GMT+0000 (UTC)
published: Tue Jan 26 2021 14:27:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト