スケルトンベースの行動認識の既存の方法は、主に認識精度の向上に焦点を合わせていますが、モデルの効率はほとんど考慮されていません。最近、軽量モジュールを設計することによってスケルトンモデリングを高速化しようとするいくつかの作業があります。ただし、モデルサイズに加えて、計算に含まれるデータの量も実行速度の重要な要素です。特に、ほとんどのジョイントが冗長であるか、特定のスケルトンを識別するのに情報がないスケルトンデータの場合はそうです。その上、以前の作品は通常、認識の難しさに関係なく、すべてのサンプルに対して1つの固定サイズのモデルを採用しているため、簡単なサンプルの計算が無駄になります。これらの制限に対処するために、AdaSGNと呼ばれる新しいアプローチがこの論文で提案されています。これは、スケルトンのジョイントの入力数をオンザフライで適応的に制御することにより、推論プロセスの計算コストを削減できます。さらに、各サンプルに最適なモデルサイズを適応的に選択して、精度と効率の間のより良いトレードオフを実現することもできます。 3つの挑戦的なデータセット、つまりNTU-60、NTU-120、SHRECで広範な実験を行い、提案されたアプローチの優位性を検証します。AdaSGNは、ベースライン方式と比較してはるかに低いGFLOPで同等以上のパフォーマンスを実現します。
Existing methods for skeleton-based action recognition mainly focus on improving the recognition accuracy, whereas the efficiency of the model is rarely considered. Recently, there are some works trying to speed up the skeleton modeling by designing light-weight modules. However, in addition to the model size, the amount of the data involved in the calculation is also an important factor for the running speed, especially for the skeleton data where most of the joints are redundant or non-informative to identify a specific skeleton. Besides, previous works usually employ one fix-sized model for all the samples regardless of the difficulty of recognition, which wastes computations for easy samples. To address these limitations, a novel approach, called AdaSGN, is proposed in this paper, which can reduce the computational cost of the inference process by adaptively controlling the input number of the joints of the skeleton on-the-fly. Moreover, it can also adaptively select the optimal model size for each sample to achieve a better trade-off between accuracy and efficiency. We conduct extensive experiments on three challenging datasets, namely, NTU-60, NTU-120 and SHREC, to verify the superiority of the proposed approach, where AdaSGN achieves comparable or even higher performance with much lower GFLOPs compared with the baseline method.