arXiv reaDer
美術史的画像における半教師あり人間の姿勢推定
Semi-supervised Human Pose Estimation in Art-historical Images
非言語コミュニケーションの言語としてのジェスチャーは、17世紀から理論的に確立されてきました。ただし、視覚芸術との関連性は散発的にしか表現されていません。これは主に、従来は手作業で処理しなければならなかった膨大な量のデータが原因である可能性があります。しかし、デジタル化の着実な進歩に伴い、ますます多くの歴史的遺物が索引付けされて一般に公開されており、類似した体の星座やポーズを持つ美術史的モチーフを自動的に検索する必要が生じています。アートの領域は、そのスタイルの違いにより、人間のポーズ推定のための既存の実際のデータセットとは大幅に異なるため、これは新しい課題を提示します。本論文では、美術史的画像における人間のポーズを推定するための新しいアプローチを提案する。事前にトレーニングされたモデルまたはスタイル転送を介してドメインギャップを埋めようとする以前の作業とは対照的に、オブジェクトとキーポイントの両方の検出について半教師あり学習をお勧めします。さらに、人物のバウンディングボックスとキーポイント注釈の両方を含む、新しいドメイン固有のアートデータセットを紹介します。私たちのアプローチは、事前にトレーニングされたモデルやスタイル転送を使用する方法よりも大幅に優れた結果を達成します。
Gesture as language of non-verbal communication has been theoretically established since the 17th century. However, its relevance for the visual arts has been expressed only sporadically. This may be primarily due to the sheer overwhelming amount of data that traditionally had to be processed by hand. With the steady progress of digitization, though, a growing number of historical artifacts have been indexed and made available to the public, creating a need for automatic retrieval of art-historical motifs with similar body constellations or poses. Since the domain of art differs significantly from existing real-world data sets for human pose estimation due to its style variance, this presents new challenges. In this paper, we propose a novel approach to estimate human poses in art-historical images. In contrast to previous work that attempts to bridge the domain gap with pre-trained models or through style transfer, we suggest semi-supervised learning for both object and keypoint detection. Furthermore, we introduce a novel domain-specific art data set that includes both bounding box and keypoint annotations of human figures. Our approach achieves significantly better results than methods that use pre-trained models or style transfer.
updated: Mon Jul 11 2022 09:44:11 GMT+0000 (UTC)
published: Wed Jul 06 2022 21:20:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト