人間の姿勢の推定(特定の画像内の人間のキーポイントを認識するプロセス)は、コンピュータービジョンで最も重要なタスクのひとつであり、動きの診断、監視、自動運転車など、幅広いアプリケーションがあります。ディープラーニングの急成長のおかげで、人間のキーポイント予測の精度はますます向上しています。ほとんどの既存の方法は、i番目のヒートマップがi番目のキーポイントの位置の信頼度を示すヒートマップを生成することによって人間の姿勢の推定を解決しました。本論文では、人間のキーポイント予測のための多重解像度表現学習と呼ばれる新しいネットワーク構造を紹介します。学習プロセスのさまざまな解像度で、ネットワークが分岐し、追加のレイヤーを使用してヒートマップの生成を学習します。最初に、最低解像度の特徴マップを取得した後、多重解像度ヒートマップを生成するためのアーキテクチャを検討します。 2番目のアプローチでは、特徴抽出の各解像度でヒートマップが生成される特徴抽出のプロセス中に学習できます。最初のアプローチと2番目のアプローチは、それぞれ多重解像度ヒートマップ学習および多重解像度特徴マップ学習と呼ばれます。当社のアーキテクチャはシンプルでありながら効果的であり、優れたパフォーマンスを実現します。人間の姿勢を推定するための2つの一般的なベンチマークであるMSCOCOとMPIIデータセットで実験を行いました。コードはhttps://github.com/tqtrunghnvn/SimMRPoseで公開されています。
Human pose estimation - the process of recognizing human keypoints in a given image - is one of the most important tasks in computer vision and has a wide range of applications including movement diagnostics, surveillance, or self-driving vehicle. The accuracy of human keypoint prediction is increasingly improved thanks to the burgeoning development of deep learning. Most existing methods solved human pose estimation by generating heatmaps in which the ith heatmap indicates the location confidence of the ith keypoint. In this paper, we introduce novel network structures referred to as multi-resolution representation learning for human keypoint prediction. At different resolutions in the learning process, our networks branch off and use extra layers to learn heatmap generation. We firstly consider the architectures for generating the multi-resolution heatmaps after obtaining the lowest-resolution feature maps. Our second approach allows learning during the process of feature extraction in which the heatmaps are generated at each resolution of the feature extractor. The first and second approaches are referred to as multi-resolution heatmap learning and multi-resolution feature map learning respectively. Our architectures are simple yet effective, achieving good performance. We conducted experiments on two common benchmarks for human pose estimation: MSCOCO and MPII dataset. The code is made publicly available at https://github.com/tqtrunghnvn/SimMRPose.