arXiv reaDer
教育用ビデオ理解のための手順認識事前トレーニング
Procedure-Aware Pretraining for Instructional Video Understanding
私たちの目標は、教育ビデオのタスクを理解する下流の手順に役立つビデオ表現を学習することです。利用可能な注釈の量が少ないため、手順の理解における重要な課題は、ラベルのないビデオから、タスクのアイデンティティ (「ラテを作る」など)、その手順 (「注ぐ」など) などの手順に関する知識を抽出できるようにすることです。 milk')、またはその実行が部分的に進行した場合の潜在的な次のステップ。私たちの主な洞察は、教育ビデオは、同じまたは異なるタスクのインスタンス間で繰り返される一連のステップを描写しており、この構造は、ノードが個別のステップであり、エッジが発生するステップを接続する手続き型知識グラフ (PKG) によって適切に表現できるということです。教育活動で順次。次に、このグラフを使用して疑似ラベルを生成し、手順知識をよりアクセスしやすい形式でエンコードして複数の手順理解タスクに一般化するビデオ表現をトレーニングできます。テキストベースの手続き知識データベースとラベル付けされていない教育用ビデオ コーパスからの情報を組み合わせて PKG を構築し、それを使用して 4 つの新しい事前トレーニング目標を備えたトレーニング擬似ラベルを生成します。この PKG ベースの事前トレーニング プロシージャと、結果として得られるモデル Paprika、Procedure-Aware PRe-training for Instructional Knowledge Acquisition と呼びます。タスク認識、ステップ認識、ステップ予測などの手順理解タスクについて、COIN および CrossTask で Paprika を評価します。 Paprika は、最新技術よりも優れたビデオ表現を生成します。12 の評価設定で精度が最大 11.23% 向上します。実装は https://github.com/salesforce/paprika で入手できます。
Our goal is to learn a video representation that is useful for downstream procedure understanding tasks in instructional videos. Due to the small amount of available annotations, a key challenge in procedure understanding is to be able to extract from unlabeled videos the procedural knowledge such as the identity of the task (e.g., 'make latte'), its steps (e.g., 'pour milk'), or the potential next steps given partial progress in its execution. Our main insight is that instructional videos depict sequences of steps that repeat between instances of the same or different tasks, and that this structure can be well represented by a Procedural Knowledge Graph (PKG), where nodes are discrete steps and edges connect steps that occur sequentially in the instructional activities. This graph can then be used to generate pseudo labels to train a video representation that encodes the procedural knowledge in a more accessible form to generalize to multiple procedure understanding tasks. We build a PKG by combining information from a text-based procedural knowledge database and an unlabeled instructional video corpus and then use it to generate training pseudo labels with four novel pre-training objectives. We call this PKG-based pre-training procedure and the resulting model Paprika, Procedure-Aware PRe-training for Instructional Knowledge Acquisition. We evaluate Paprika on COIN and CrossTask for procedure understanding tasks such as task recognition, step recognition, and step forecasting. Paprika yields a video representation that improves over the state of the art: up to 11.23% gains in accuracy in 12 evaluation settings. Implementation is available at https://github.com/salesforce/paprika.
updated: Fri Mar 31 2023 17:41:31 GMT+0000 (UTC)
published: Fri Mar 31 2023 17:41:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト