ビデオフレームクラスタリングを口実タスクとして使用し、同時に表現学習とオンラインクラスタリングを実行する、教師なしアクティビティセグメンテーションの新しいアプローチを紹介します。これは、表現学習とオンラインクラスタリングがしばしば連続して実行される以前の作品とは対照的です。時間的最適トランスポートと時間的コヒーレンス損失を採用することにより、ビデオ内の時間的情報を活用します。特に、時間的正則化項を標準の最適トランスポートモジュールに組み込みます。これにより、アクティビティの時間的順序が保持され、疑似ラベルクラスター割り当てを計算するための時間的最適トランスポートモジュールが生成されます。次に、時間的コヒーレンス損失により、隣接するビデオフレームが近くのポイントにマッピングされ、離れたビデオフレームが埋め込みスペース内のより遠いポイントにマッピングされます。これらの2つのコンポーネントの組み合わせにより、教師なしアクティビティのセグメンテーションを効果的に表現できます。さらに、以前の方法では、オフラインでクラスター化する前にデータセット全体の学習済み機能を保存する必要がありましたが、私たちのアプローチでは、オンラインで一度に1つのミニバッチを処理します。 3つの公開データセット(50-Salads、YouTube Instructions、Breakfast)と、私たちのデータセット(Desktop Assembly)の広範な評価は、メモリの制約が大幅に少ないにもかかわらず、教師なしアクティビティのセグメンテーションに対して以前の方法と同等またはそれ以上のパフォーマンスを発揮することを示しています。 。
We present a novel approach for unsupervised activity segmentation, which uses video frame clustering as a pretext task and simultaneously performs representation learning and online clustering. This is in contrast with prior works where representation learning and online clustering are often performed sequentially. We leverage temporal information in videos by employing temporal optimal transport and temporal coherence loss. In particular, we incorporate a temporal regularization term into the standard optimal transport module, which preserves the temporal order of the activity, yielding the temporal optimal transport module for computing pseudo-label cluster assignments. Next, the temporal coherence loss encourages neighboring video frames to be mapped to nearby points while distant video frames are mapped to farther away points in the embedding space. The combination of these two components results in effective representations for unsupervised activity segmentation. Furthermore, previous methods require storing learned features for the entire dataset before clustering them in an offline manner, whereas our approach processes one mini-batch at a time in an online manner. Extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par or better than previous methods for unsupervised activity segmentation, despite having significantly less memory constraints.