arXiv reaDer
合成的に訓練された深い畳み込みネットワークで人体部分をセグメント化することを学ぶ
Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks
この論文では、合成データのみを使用してトレーニングされたディープ畳み込みニューラルネットワークに基づく人体部分セグメンテーションの新しいフレームワークを紹介します。提案されたアプローチは、人体部分の実際の注釈付きデータでモデルをトレーニングする必要なしに、最先端の結果を達成します。私たちの貢献には、ネットワークのトレーニングに使用される合成データの作成にゲームエンジンを活用するデータ生成パイプラインと、エッジ応答マップと適応ヒストグラム均等化を組み合わせてネットワークが学習するように導く新しい前処理モジュールが含まれます。照明条件の変化に対するロバスト性を保証する人体部分の形状。最適な候補アーキテクチャを選択するために、実際の人体の手足の手動で注釈を付けた画像に対して徹底的なテストを実行します。さらに、私たちの方法を、身体部分のセグメンテーションタスクに関するいくつかのハイエンドの商用セグメンテーションツールと比較します。結果は、私たちの方法が他のモデルを大幅に上回っていることを示しています。最後に、前処理モジュールを検証するためのアブレーション研究を紹介します。このホワイトペーパーでは、取得したデータセットとともに、提案されたアプローチの実装をリリースします。
This paper presents a new framework for human body part segmentation based on Deep Convolutional Neural Networks trained using only synthetic data. The proposed approach achieves cutting-edge results without the need of training the models with real annotated data of human body parts. Our contributions include a data generation pipeline, that exploits a game engine for the creation of the synthetic data used for training the network, and a novel pre-processing module, that combines edge response maps and adaptive histogram equalization to guide the network to learn the shape of the human body parts ensuring robustness to changes in the illumination conditions. For selecting the best candidate architecture, we perform exhaustive tests on manually annotated images of real human body limbs. We further compare our method against several high-end commercial segmentation tools on the body parts segmentation task. The results show that our method outperforms the other models by a significant margin. Finally, we present an ablation study to validate our pre-processing module. With this paper, we release an implementation of the proposed approach along with the acquired datasets.
updated: Tue Nov 09 2021 15:06:02 GMT+0000 (UTC)
published: Tue Feb 02 2021 12:26:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト