アクションセグメンテーションは、ビデオ内の意味的に一貫した視覚的概念の境界を推測することを指し、多くのビデオ理解タスクにとって重要な要件です。このタスクやその他のビデオ理解タスクでは、監視されたアプローチによって有望なパフォーマンスが達成されましたが、大量の詳細なフレームレベルの注釈が必要です。トレーニングを必要としないビデオでアクションをセグメント化するための完全に自動化された教師なしアプローチを紹介します。私たちの提案は、ビデオの意味的に一貫したフレームをグループ化できる、効果的な時間加重階層的クラスタリングアルゴリズムです。私たちの主な発見は、時間の進行を考慮して1に最も近い隣接グラフでビデオを表すことは、各クラスターがビデオ内のアクションを表す可能性のある、意味的および時間的に一貫したフレームのクラスターを形成するのに十分であるということです。さらに、アクションセグメンテーションの強力な教師なしベースラインを確立し、5つの挑戦的なアクションセグメンテーションデータセットで公開された教師なしメソッドよりも大幅なパフォーマンスの向上を示します。私たちのコードはhttps://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCHで入手できます。
Action segmentation refers to inferring boundaries of semantically consistent visual concepts in videos and is an important requirement for many video understanding tasks. For this and other video understanding tasks, supervised approaches have achieved encouraging performance but require a high volume of detailed frame-level annotations. We present a fully automatic and unsupervised approach for segmenting actions in a video that does not require any training. Our proposal is an effective temporally-weighted hierarchical clustering algorithm that can group semantically consistent frames of the video. Our main finding is that representing a video with a 1-nearest neighbor graph by taking into account the time progression is sufficient to form semantically and temporally consistent clusters of frames where each cluster may represent some action in the video. Additionally, we establish strong unsupervised baselines for action segmentation and show significant performance improvements over published unsupervised methods on five challenging action segmentation datasets. Our code is available at https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH