arXiv reaDer
STEPs: ラベル付けされていない手続き型ビデオからの自己管理型キー ステップ抽出
STEPs: Self-Supervised Key Step Extraction from Unlabeled Procedural Videos
拡張現実 (AR) ヘッドセットが職業訓練とパフォーマンスに革命をもたらす可能性に動機付けられた、ラベル付けされていない手続き型ビデオから主要なステップを抽出するという問題に対処します。問題を表現学習とキーステップ抽出の 2 つのステップに分解します。ラベルなしでさまざまなステップの弁別表現を学習するために、トレーニング目標、Bootstrapped Multi-Cue Contrastive (BMC2) 損失を提案します。以前の作品とは異なり、自己監視のために既製の機能を使用する軽量の一時的なモジュールをトレーニングする手法を開発します。私たちのアプローチは、オプティカル フロー、深度、視線などの複数の手がかりからの情報をシームレスに活用して、重要なステップの識別機能を学習し、AR アプリケーションに適したものにすることができます。最後に、表現とサンプルをクラスター化する調整可能なアルゴリズムを介して重要なステップを抽出します。重要なステップのローカリゼーションとフェーズ分類のタスクについて、以前の作業よりも大幅な改善が見られます。定性的な結果は、抽出された主要なステップが手続きタスクのさまざまなステップを簡潔に表すのに意味があることを示しています。
We address the problem of extracting key steps from unlabeled procedural videos, motivated by the potential of Augmented Reality (AR) headsets to revolutionize job training and performance. We decompose the problem into two steps: representation learning and key steps extraction. We propose a training objective, Bootstrapped Multi-Cue Contrastive (BMC2) loss to learn disciriminative representations for various steps without any labels. Different from prior works, we develop techniques to train a light-weight temporal module which uses off-the-shelf features for self supervision. Our approach can seamlessly leverage information from multiple cues like optical flow, depth or gaze to learn discriminative features for key-steps making it amenable for AR applications. We finally extract key steps via a tunable algorithm that clusters the representations and samples. We show significant improvements over prior works for the task of key step localization and phase classification. Qualitative results demonstrate that the extracted key steps are meaningful to succinctly represent various steps of the procedural tasks.
updated: Fri Mar 31 2023 15:57:22 GMT+0000 (UTC)
published: Mon Jan 02 2023 18:32:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト