arXiv reaDer
VADER: ビデオ アラインメント ディファレンシングと検索
VADER: Video Alignment Differencing and Retrieval
VADER は、時空間のマッチング、アライメント、および変更の要約方法であり、操作されたビデオを介して広がる誤った情報と戦うのに役立ちます。 VADER は、堅牢なビジュアル ディスクリプタと、適応的にチャンクされたビデオ コンテンツに対するスケーラブルな検索を使用して、部分的なビデオ フラグメントを候補ビデオに一致させ、大まかに位置合わせします。次に、トランスフォーマー ベースのアラインメント モジュールが、一致したビデオ内のクエリ フラグメントの時間的ローカリゼーションを調整します。時空間比較モジュールは、コンテンツの非編集上の変更から生じる残余の時間的ミスアライメントまたはアーティファクトによる変更に対して不変である、整列されたコンテンツ間の操作の領域を識別します。ビデオを信頼できるソースと確実に照合することで、ビデオの来歴について結論を導き出すことができ、遭遇したコンテンツについて十分な情報に基づいて信頼できる決定を下すことができます。
We propose VADER, a spatio-temporal matching, alignment, and change summarization method to help fight misinformation spread via manipulated videos. VADER matches and coarsely aligns partial video fragments to candidate videos using a robust visual descriptor and scalable search over adaptively chunked video content. A transformer-based alignment module then refines the temporal localization of the query fragment within the matched video. A space-time comparator module identifies regions of manipulation between aligned content, invariant to any changes due to any residual temporal misalignments or artifacts arising from non-editorial changes of the content. Robustly matching video to a trusted source enables conclusions to be drawn on video provenance, enabling informed trust decisions on content encountered.
updated: Thu Mar 23 2023 11:50:44 GMT+0000 (UTC)
published: Thu Mar 23 2023 11:50:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト