一時的なアクションのセグメンテーションアプローチは、最近非常に成功しています。ただし、そのようなモデルをトレーニングするためにフレームごとのラベルでビデオに注釈を付けることは、非常に費用と時間がかかります。順序付けられたアクションリストのみを使用してトレーニングされた弱教師ありメソッドは、アノテーションの労力がはるかに少なくて済みますが、パフォーマンスは完全教師ありアプローチよりもはるかに劣ります。この論文では、時間的アクションセグメンテーションタスクのタイムスタンプ監視を紹介します。タイムスタンプは、弱く監視されたアプローチに匹敵する注釈の努力を必要としますが、それでもより監視的な信号を提供します。タイムスタンプ監視の有効性を実証するために、タイムスタンプ注釈のみを使用してセグメンテーションモデルをトレーニングするアプローチを提案します。私たちのアプローチでは、モデルの出力と注釈付きのタイムスタンプを使用して、アクションの変更を検出することでフレームごとのラベルを生成します。さらに、タイムスタンプまでの距離が増加するにつれて、予測確率を単調に減少させる信頼損失を導入します。これにより、トレーニング中にアクションの最も特徴的なフレームだけでなく、すべてが確実に学習されます。 4つのデータセットの評価は、タイムスタンプ注釈でトレーニングされたモデルが、完全に監視されたアプローチと同等のパフォーマンスを達成することを示しています。
Temporal action segmentation approaches have been very successful recently. However, annotating videos with frame-wise labels to train such models is very expensive and time consuming. While weakly supervised methods trained using only ordered action lists require much less annotation effort, the performance is still much worse than fully supervised approaches. In this paper, we introduce timestamp supervision for the temporal action segmentation task. Timestamps require a comparable annotation effort to weakly supervised approaches, and yet provide a more supervisory signal. To demonstrate the effectiveness of timestamp supervision, we propose an approach to train a segmentation model using only timestamps annotations. Our approach uses the model output and the annotated timestamps to generate frame-wise labels by detecting the action changes. We further introduce a confidence loss that forces the predicted probabilities to monotonically decrease as the distance to the timestamps increases. This ensures that all and not only the most distinctive frames of an action are learned during training. The evaluation on four datasets shows that models trained with timestamps annotations achieve comparable performance to the fully supervised approaches.