ビデオフレームクラスタリングを口実タスクとして使用し、同時に表現学習とオンラインクラスタリングを実行する、教師なしアクティビティセグメンテーションの新しいアプローチを紹介します。これは、表現学習とクラスタリングがしばしば連続して実行される以前の作品とは対照的です。時間的最適トランスポートを採用することにより、ビデオ内の時間的情報を活用します。特に、アクティビティの時間的順序を保持する時間的正則化項を、疑似ラベルクラスター割り当てを計算するための標準の最適なトランスポートモジュールに組み込みます。時間的最適輸送モジュールは、教師なし活動セグメンテーションの効果的な表現を学習するためのアプローチを可能にします。さらに、以前の方法では、オフラインでクラスター化する前にデータセット全体の学習済み特徴を保存する必要がありましたが、私たちのアプローチでは、オンラインで一度に1つのミニバッチを処理します。 3つの公開データセット(50-Salads、YouTube Instructions、Breakfast)と、私たちのデータセット(Desktop Assembly)の広範な評価は、メモリの制約が大幅に少ないにもかかわらず、教師なしアクティビティのセグメンテーションに対して以前の方法と同等またはそれ以上のパフォーマンスを発揮することを示しています。 。
We present a novel approach for unsupervised activity segmentation, which uses video frame clustering as a pretext task and simultaneously performs representation learning and online clustering. This is in contrast with prior works where representation learning and clustering are often performed sequentially. We leverage temporal information in videos by employing temporal optimal transport. In particular, we incorporate a temporal regularization term which preserves the temporal order of the activity into the standard optimal transport module for computing pseudo-label cluster assignments. The temporal optimal transport module enables our approach to learn effective representations for unsupervised activity segmentation. Furthermore, previous methods require storing learned features for the entire dataset before clustering them in an offline manner, whereas our approach processes one mini-batch at a time in an online manner. Extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par or better than previous methods for unsupervised activity segmentation, despite having significantly less memory constraints.