潜在的な活動の説明のセットが組み合わせて大きい場合、活動認識の多くの現実的なアプリケーションがあります。これにより、ラベルセット全体を実際に網羅できるトレーニングセットがないため、認識システムのエンドツーエンドの教師ありトレーニングは実用的ではなくなります。この論文では、動的アクションシグネチャの構成としてアクティビティをモデル化するきめ細かい認識へのアプローチを提示します。この構成的アプローチにより、きめ細かい認識をゼロショットアクティビティ認識として再構成できます。検出器は、深く学習されたコンポーネントによってサポートされる単純な第一原理状態マシンから「オンザフライ」で構成されます。オリンピックスポーツとUCF101データセットでメソッドを評価します。ここで、モデルは複数の実験パラダイムの下で新しい最先端技術を確立します。また、この方法を拡張して、ゼロショット関節のセグメンテーションとビデオ内のアクティビティの分類のための独自のフレームワークを形成し、広く使用されている手術データセットで複雑なアクションシーケンスのゼロショットデコードの最初の結果を示します。最後に、既成のオブジェクト検出器を使用して、追加のトレーニングなしで完全にデノボ設定でアクティビティを認識することができることを示します。
There are many realistic applications of activity recognition where the set of potential activity descriptions is combinatorially large. This makes end-to-end supervised training of a recognition system impractical as no training set is practically able to encompass the entire label set. In this paper, we present an approach to fine-grained recognition that models activities as compositions of dynamic action signatures. This compositional approach allows us to reframe fine-grained recognition as zero-shot activity recognition, where a detector is composed "on the fly" from simple first-principles state machines supported by deep-learned components. We evaluate our method on the Olympic Sports and UCF101 datasets, where our model establishes a new state of the art under multiple experimental paradigms. We also extend this method to form a unique framework for zero-shot joint segmentation and classification of activities in video and demonstrate the first results in zero-shot decoding of complex action sequences on a widely-used surgical dataset. Lastly, we show that we can use off-the-shelf object detectors to recognize activities in completely de-novo settings with no additional training.