オンラインで共有されたビデオから来歴情報を回復するためのコンテンツ帰属方法であるVPNを紹介します。プラットフォームやユーザーは、オンラインで再配信されるため、ビデオをさまざまな品質、コーデック、サイズ、形状などに変換したり、テキストや絵文字の追加などのコンテンツをわずかに編集したりすることがよくあります。フルレングスまたは切り捨てられたビデオクエリを使用して、これらの変換に不変の、そのようなビデオを照合するための堅牢な検索埋め込みを学習します。ビデオクリップの信頼できるデータベースと照合されると、クリップの出所に関する関連情報がユーザーに表示されます。転置インデックスを使用して、レイトフュージョンを使用してビデオの一時的なチャンクを照合し、視覚機能と音声機能の両方を組み合わせます。どちらの場合も、特徴は、元のビデオクリップと拡張されたビデオクリップのデータセットで対照学習を使用してトレーニングされたディープニューラルネットワークを介して抽出されます。 100,000本のビデオのコーパスで高精度の再現率を示します。
We present VPN - a content attribution method for recovering provenance information from videos shared online. Platforms, and users, often transform video into different quality, codecs, sizes, shapes, etc. or slightly edit its content such as adding text or emoji, as they are redistributed online. We learn a robust search embedding for matching such video, invariant to these transformations, using full-length or truncated video queries. Once matched against a trusted database of video clips, associated information on the provenance of the clip is presented to the user. We use an inverted index to match temporal chunks of video using late-fusion to combine both visual and audio features. In both cases, features are extracted via a deep neural network trained using contrastive learning on a dataset of original and augmented video clips. We demonstrate high accuracy recall over a corpus of 100,000 videos.