ビデオ理解の問題におけるさまざまな実践的なタスクの増加は、幅広い大衆に利用可能であり、要求の厳しいエッジ指向の推論に適したユニバーサルソリューションを設計することを目的とした大きな課題に対処しています。このホワイトペーパーでは、前述の課題に取り組むためのネットワークアーキテクチャとトレーニングパイプラインの設計に焦点を当てています。私たちのアーキテクチャは、以前のアーキテクチャを最大限に活用し、外観ベースのアクション認識タスクだけでなく、モーションベースの問題でも成功する能力をもたらします。さらに、誘導ラベルノイズ問題が定式化され、それを処理するために適応クリップ選択(ACS)フレームワークが提案されます。一緒にそれはLIGARフレームワークを汎用アクション認識ソリューションにします。また、最新のソリューションと比較して、パフォーマンスと精度の間の優れたトレードオフを示すために、一般的なデータセットとジェスチャデータセットに関する広範な分析を報告しました。トレーニングコードは、https://github.com/openvinotoolkit/training_extensionsで入手できます。効率的なエッジ指向の推論のために、トレーニングされたすべてのモデルをOpenVINO形式にエクスポートできます。
Growing amount of different practical tasks in a video understanding problem has addressed the great challenge aiming to design an universal solution, which should be available for broad masses and suitable for the demanding edge-oriented inference. In this paper we are focused on designing a network architecture and a training pipeline to tackle the mentioned challenges. Our architecture takes the best from the previous ones and brings the ability to be successful not only in appearance-based action recognition tasks but in motion-based problems too. Furthermore, the induced label noise problem is formulated and Adaptive Clip Selection (ACS) framework is proposed to deal with it. Together it makes the LIGAR framework the general-purpose action recognition solution. We also have reported the extensive analysis on the general and gesture datasets to show the excellent trade-off between the performance and the accuracy in comparison to the state-of-the-art solutions. Training code is available at: https://github.com/openvinotoolkit/training_extensions. For the efficient edge-oriented inference all trained models can be exported into the OpenVINO format.