arXiv reaDer
イラストキャラクターのポーズ推定のための転移学習
Transfer Learning for Pose Estimation of Illustrated Characters
人間のポーズ情報は、アクティビティ認識やモーショントラッキングなど、多くのダウンストリーム画像処理タスクで重要なコンポーネントです。同様に、図示されたキャラクタードメインのポーズ推定器は、参照ポーズの取得や自動キャラクターアニメーションなどの支援コンテンツ作成タスクに貴重な事前情報を提供します。しかし、最新のデータ駆動技術により、自然画像のポーズ推定パフォーマンスが大幅に向上しましたが、イラストの作業はほとんど行われていません。私たちの仕事では、ドメイン固有とタスク固有の両方のソースモデルから効率的に転送学習することで、このドメインギャップを埋めます。さらに、既存の図解されたポーズ推定データセットをアップグレードおよび拡張し、分類およびセグメンテーションサブタスク用の2つの新しいデータセットを導入します。次に、得られた最先端のキャラクターポーズ推定器を適用して、ポーズガイド付きイラスト検索の新しいタスクを解決します。すべてのデータ、モデル、およびコードは公開されます。
Human pose information is a critical component in many downstream image processing tasks, such as activity recognition and motion tracking. Likewise, a pose estimator for the illustrated character domain would provide a valuable prior for assistive content creation tasks, such as reference pose retrieval and automatic character animation. But while modern data-driven techniques have substantially improved pose estimation performance on natural images, little work has been done for illustrations. In our work, we bridge this domain gap by efficiently transfer-learning from both domain-specific and task-specific source models. Additionally, we upgrade and expand an existing illustrated pose estimation dataset, and introduce two new datasets for classification and segmentation subtasks. We then apply the resultant state-of-the-art character pose estimator to solve the novel task of pose-guided illustration retrieval. All data, models, and code will be made publicly available.
updated: Wed Aug 04 2021 02:37:28 GMT+0000 (UTC)
published: Wed Aug 04 2021 02:37:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト