この作品では、アニメのキャラクター認識の挑戦的な問題に取り組んでいます。アニメ。日本国内で制作されたアニメーションと、それに由来またはインスピレーションを得た作品を指します。この目的のために、DAF:re(DanbooruAnimeFaces:revamped)を紹介します。これは、3000を超えるクラスにまたがる約500 Kの画像を含む、大規模なクラウドソーシングのロングテールデータセットです。さらに、CNNベースのResNetや自己注意ベースのVision Transformer(ViT)など、さまざまな分類モデルを使用して、DAF:reおよび同様のデータセットで実験を行います。私たちの結果は、トレーニングでのバッチと画像サイズの影響を含め、アップストリームの事前トレーニングに使用されたものとは大幅に異なるドメインデータセットでのViTモデルの一般化と転送学習プロパティへの新しい洞察を提供します。さらに、大規模なアニメキャラクター認識のための最初のエンドツーエンドフレームワークであるAnimesionとして、データセット、ソースコード、事前にトレーニングされたチェックポイントと結果を共有します:https://github.com/arkel23/animesion
In this work we tackle the challenging problem of anime character recognition. Anime, referring to animation produced within Japan and work derived or inspired from it. For this purpose we present DAF:re (DanbooruAnimeFaces:revamped), a large-scale, crowd-sourced, long-tailed dataset with almost 500 K images spread across more than 3000 classes. Additionally, we conduct experiments on DAF:re and similar datasets using a variety of classification models, including CNN based ResNets and self-attention based Vision Transformer (ViT). Our results give new insights into the generalization and transfer learning properties of ViT models on substantially different domain datasets from those used for the upstream pre-training, including the influence of batch and image size in their training. Additionally, we share our dataset, source-code, pre-trained checkpoints and results, as Animesion, the first end-to-end framework for large-scale anime character recognition: https://github.com/arkel23/animesion