ソーシャル メディア ユーザーのスタンス検出とボット検出方法の開発は、大規模で高品質のベンチマークに大きく依存しています。ただし、アノテーションの品質が低いことに加えて、既存のベンチマークは一般的にユーザー関係が不完全であり、グラフベースのアカウント検出研究を抑制しています。これらの問題に対処するために、マルチリレーショナル グラフ ベースの Twitter アカウント検出ベンチマーク (MGTAB) を提案します。これは、アカウント検出のための最初の標準化されたグラフ ベースのベンチマークです。私たちの知る限り、MGTAB は、155 万人を超えるユーザーと 1 億 3,000 万件のツイートという、この分野で最大のオリジナル データに基づいて構築されました。 MGTAB には、10,199 人の専門家が注釈を付けたユーザーと 7 種類の関係が含まれており、高品質の注釈と多様な関係が確保されています。 MGTAB では、情報獲得量が最も多い 20 個のユーザープロパティ特徴と、ユーザーのツイート特徴をユーザー特徴として抽出しました。さらに、MGTAB およびその他の公開データセットを徹底的に評価しました。私たちの実験では、グラフベースのアプローチは一般的に機能ベースのアプローチよりも効果的であり、複数のリレーションを導入するとパフォーマンスが向上することがわかりました。実験結果を分析することで、アカウント検出の効果的なアプローチを特定し、この分野における将来の潜在的な研究の方向性を提供します。ベンチマークと標準化された評価手順は、https://github.com/GraphDetec/MGTAB で無料で入手できます。
The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.