最近、数発学習への関心が高まっています。既存の取り組みは画像分類に焦点を合わせており、より困難な数ショットのビデオ分類問題に専念する試みはほとんどありません。これらのいくつかの試みは、低データ体制での学習を改善するために、ビデオの時間的側面を効果的に活用することを目的としています。ただし、数ショットの認識に不可欠なビデオの重要な特性をほとんど無視しています。つまり、ビデオにはリッチテキストの説明が付いていることがよくあります。この論文では、初めて、これらの人間が提供するテキストによる説明を、数ショットのビデオ分類モデルをトレーニングする際の特権情報として活用することを提案します。具体的には、テキストベースのタスクコンディショナーを作成して、ビデオ機能を数ショットの学習タスクに適合させます。私たちのモデルは、クエリサンプルとサポートテキストの説明を使用してサポートセットクラスのプロトタイプを更新し、モデルのタスク適応能力をさらに向上させることができるトランスダクティブ設定に従います。私たちのモデルは、数ショットのビデオアクション分類における4つの挑戦的なベンチマークで最先端のパフォーマンスを取得します。
Recently, few-shot learning has received increasing interest. Existing efforts have been focused on image classification, with very few attempts dedicated to the more challenging few-shot video classification problem. These few attempts aim to effectively exploit the temporal dimension in videos for better learning in low data regimes. However, they have largely ignored a key characteristic of video which could be vital for few-shot recognition, that is, videos are often accompanied by rich text descriptions. In this paper, for the first time, we propose to leverage these human-provided textual descriptions as privileged information when training a few-shot video classification model. Specifically, we formulate a text-based task conditioner to adapt video features to the few-shot learning task. Our model follows a transductive setting where query samples and support textual descriptions can be used to update the support set class prototype to further improve the task-adaptation ability of the model. Our model obtains state-of-the-art performance on four challenging benchmarks in few-shot video action classification.