arXiv reaDer
NAPA:ニューラルアートヒューマンポーズアンプ
NAPA: Neural Art Human Pose Amplifier
これはCSCI-GA.2271-001のプロジェクトレポートです。芸術的な画像での人間の姿勢推定を対象としています。この目標のために、ポーズ回帰にニューラルスタイル転送を使用するエンドツーエンドシステムを設計します。任意のスタイル転送用に277スタイルのセットを収集し、芸術的な281画像のテストセットを作成します。テストセットでポーズ回帰を直接実行し、有望な結果を示します。ポーズ回帰については、ポーズを解除する2D誘導骨マップを提案します。このようなリフティングを支援するために、完全なインザワイルドMPIIデータセットの疑似3Dラベルにさらに注釈を付けます。さらに、2Dを改善するために、自己監視として別のスタイル転送を追加します。導入された機能を分析するために、広範なアブレーション研究を実施します。また、エンドツーエンドとスタイルごとのトレーニングを比較し、スタイルの転送とポーズの回帰の間のトレードオフをほのめかします。最後に、モデルを実際の人間のデータセットに一般化し、一般的なポーズモデルとしての可能性を示します。理論的基礎については付録で説明します。コードはhttps://github.com/skeletonfg/NAPA-NST-HPE、データ、およびビデオでリリースされます。
This is the project report for CSCI-GA.2271-001. We target human pose estimation in artistic images. For this goal, we design an end-to-end system that uses neural style transfer for pose regression. We collect a 277-style set for arbitrary style transfer and build an artistic 281-image test set. We directly run pose regression on the test set and show promising results. For pose regression, we propose a 2d-induced bone map from which pose is lifted. To help such a lifting, we additionally annotate the pseudo 3d labels of the full in-the-wild MPII dataset. Further, we append another style transfer as self supervision to improve 2d. We perform extensive ablation studies to analyze the introduced features. We also compare end-to-end with per-style training and allude to the tradeoff between style transfer and pose regression. Lastly, we generalize our model to the real-world human dataset and show its potentiality as a generic pose model. We explain the theoretical foundation in Appendix. We release code at https://github.com/strawberryfg/NAPA-NST-HPE, data, and video.
updated: Tue Dec 15 2020 18:51:19 GMT+0000 (UTC)
published: Tue Dec 15 2020 18:51:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト