自己教師ありビデオ表現学習は、時間の経過に伴う特徴の永続性を強化するために、1 つのビデオの異なる時間セグメント間の類似性を最大化することを目的としています。これにより、時間的な関係に関連する関連情報が失われ、「入る」や「出る」などのアクションが区別できなくなります。この制限を軽減するために、私たちは、きめの細かい動きを捕捉するために合理化された、時間パラメータ化された対比学習戦略である潜在時間ナビゲーション (LTN) を提案します。具体的には、時間的変化を表現するための直交基底を含む潜在表現コードの部分空間に沿って、それらの表現を時間を意識しながら、1 つのビデオの異なるビデオ セグメント間の表現の類似性を最大化します。私たちの広範な実験分析は、LTN によるビデオ表現の学習により、きめの細かい人間中心のタスク (トヨタ スマートホーム データセットなど) におけるアクション分類のパフォーマンスが一貫して向上することを示唆しています。さらに、提案したモデルが Kinetics-400 で事前トレーニングされた場合、目に見えない現実世界のビデオ ベンチマーク データセット UCF101 および HMDB51 にうまく一般化され、動作認識において最先端のパフォーマンスを達成することを実証します。
Self-supervised video representation learning aimed at maximizing similarity between different temporal segments of one video, in order to enforce feature persistence over time. This leads to loss of pertinent information related to temporal relationships, rendering actions such as `enter' and `leave' to be indistinguishable. To mitigate this limitation, we propose Latent Time Navigation (LTN), a time-parameterized contrastive learning strategy that is streamlined to capture fine-grained motions. Specifically, we maximize the representation similarity between different video segments from one video, while maintaining their representations time-aware along a subspace of the latent representation code including an orthogonal basis to represent temporal changes. Our extensive experimental analysis suggests that learning video representations by LTN consistently improves performance of action classification in fine-grained and human-oriented tasks (e.g., on Toyota Smarthome dataset). In addition, we demonstrate that our proposed model, when pre-trained on Kinetics-400, generalizes well onto the unseen real world video benchmark datasets UCF101 and HMDB51, achieving state-of-the-art performance in action recognition.