人間中心のビデオからハイライト可能な抜粋を検出するために、ドメインおよびユーザーの好みにとらわれないアプローチを提示します。私たちの方法は、ポーズや顔など、ビデオ内の複数の観察可能な人間中心のモダリティのグラフベースの表現で機能します。時空間グラフ畳み込みを備えたオートエンコーダネットワークを使用して、これらのモダリティに基づいて人間の活動と相互作用を検出します。さまざまなモダリティのアクティビティベースおよびインタラクションベースの潜在的な構造表現を、フレームの代表性に基づいてフレームごとのハイライトスコアにマッピングするようにネットワークをトレーニングします。これらのスコアを使用して、ハイライトするフレームを計算し、連続するフレームをステッチして抜粋を作成します。大規模なAVA-Kineticsアクションデータセットでネットワークをトレーニングし、DSH、TVSum、PHD2、SumMeの4つのベンチマークビデオハイライトデータセットで評価します。ユーザー提供の設定やデータセット固有の微調整を必要とせずに、これらのデータセットの最先端の方法と比較して、人間が注釈を付けたハイライトを照合する平均精度が4〜12%向上することがわかります。
We present a domain- and user-preference-agnostic approach to detect highlightable excerpts from human-centric videos. Our method works on the graph-based representation of multiple observable human-centric modalities in the videos, such as poses and faces. We use an autoencoder network equipped with spatial-temporal graph convolutions to detect human activities and interactions based on these modalities. We train our network to map the activity- and interaction-based latent structural representations of the different modalities to per-frame highlight scores based on the representativeness of the frames. We use these scores to compute which frames to highlight and stitch contiguous frames to produce the excerpts. We train our network on the large-scale AVA-Kinetics action dataset and evaluate it on four benchmark video highlight datasets: DSH, TVSum, PHD2, and SumMe. We observe a 4-12% improvement in the mean average precision of matching the human-annotated highlights over state-of-the-art methods in these datasets, without requiring any user-provided preferences or dataset-specific fine-tuning.