arXiv reaDer
顔体および時空間関連クラスタリングによる教師なしマンガキャラクターの再識別
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
ここ数年、e-マンガ(電子漫画)が劇的に成長しました。マンガ研究に対する需要の高まりと大量のラベルなしマンガデータに直面して、教師なしマンガキャラクターの再識別と呼ばれる新しいタスクを提起しました。しかし、マンガの芸術的表現と文体の限界は、再識別の問題に多くの課題をもたらします。一部のコンテンツ関連機能がクラスタリングに役立つ可能性があるという考えに触発されて、Face-body and Spatial-temporal Associated Clustering method(FSAC)を提案します。顔と体の組み合わせモジュールでは、画像の整合性を利用して、芸術的創造における誇張や変形などの問題を解決するために顔と体のグラフを作成します。時空間関係補正モジュールでは、キャラクターの外観の特徴を分析し、時空間関連のトリプレット損失を設計して、クラスタリングを微調整します。 109巻のマンガ本データセットでの広範な実験により、教師なしマンガキャラクターの再識別における私たちの方法の優位性が検証されます。
In the past few years, there has been a dramatic growth in e-manga (electronic Japanese-style comics). Faced with the booming demand for manga research and the large amount of unlabeled manga data, we raised a new task, called unsupervised manga character re-identification. However, the artistic expression and stylistic limitations of manga pose many challenges to the re-identification problem. Inspired by the idea that some content-related features may help clustering, we propose a Face-body and Spatial-temporal Associated Clustering method (FSAC). In the face-body combination module, a face-body graph is constructed to solve problems such as exaggeration and deformation in artistic creation by using the integrity of the image. In the spatial-temporal relationship correction module, we analyze the appearance features of characters and design a temporal-spatial-related triplet loss to fine-tune the clustering. Extensive experiments on a manga book dataset with 109 volumes validate the superiority of our method in unsupervised manga character re-identification.
updated: Sun Apr 10 2022 07:28:41 GMT+0000 (UTC)
published: Sun Apr 10 2022 07:28:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト