このホワイト ペーパーでは、グラフ畳み込みネットワーク (GCN) ベースの深層学習モデルを使用した子供の活動認識 (CAR) の実装について説明します。これは、GCN の優れたパフォーマンスにもかかわらず、このドメインでの以前の実装は CNN、LSTM、およびその他の方法によって支配されていたためです。私たちの知る限り、子供の活動認識ドメインでGCNモデルを使用したのは私たちが初めてです。公開されている小さなサイズの子供の行動データセットを持つという課題を克服するために、モデルのパフォーマンスを向上させるために、特徴抽出、微調整、カリキュラム学習などのいくつかの学習方法が実装されました。 CAR での転移学習の使用に関する矛盾する主張に着想を得て、転移学習の詳細な実装と分析を実施し、これまで対処されていなかった CAR に対する転移学習の負の影響に関する研究も行いました。主な貢献として、ST-GCN ベースの CAR モデルを開発することができました。データセットのサイズが小さいにもかかわらず、バニラの実装で約 50% の精度が得られました。特徴抽出と微調整方法により、精度が 20% ~ 30% 向上し、最高精度は 82.24% でした。さらに、活動データセットで提供された結果は、カリキュラム学習などの方法でトレーニング前のモデル データセットを慎重に選択することで、精度レベルを高めることができることを経験的に示しています。最後に、CAR モデルの精度に対するフレームレートの影響の可能性に関する予備的な証拠を提供します。これは、今後の研究で探求できる方向性です。
This paper presents an implementation on child activity recognition (CAR) with a graph convolution network (GCN) based deep learning model since prior implementations in this domain have been dominated by CNN, LSTM and other methods despite the superior performance of GCN. To the best of our knowledge, we are the first to use a GCN model in child activity recognition domain. In overcoming the challenges of having small size publicly available child action datasets, several learning methods such as feature extraction, fine-tuning and curriculum learning were implemented to improve the model performance. Inspired by the contradicting claims made on the use of transfer learning in CAR, we conducted a detailed implementation and analysis on transfer learning together with a study on negative transfer learning effect on CAR as it hasn't been addressed previously. As the principal contribution, we were able to develop a ST-GCN based CAR model which, despite the small size of the dataset, obtained around 50% accuracy on vanilla implementations. With feature extraction and fine-tuning methods, accuracy was improved by 20%-30% with the highest accuracy being 82.24%. Furthermore, the results provided on activity datasets empirically demonstrate that with careful selection of pre-train model datasets through methods such as curriculum learning could enhance the accuracy levels. Finally, we provide preliminary evidence on possible frame rate effect on the accuracy of CAR models, a direction future research can explore.