ラベルフリー モデル評価は、グラウンド トゥルースに依存することなく、さまざまなテスト セットでモデルのパフォーマンスを予測することを目的としています。このタスクの主な課題は、従来の教師ありモデルの評価とは異なり、テスト データにラベルがないことです。このホワイト ペーパーでは、CVPR 2023 で開催された Visual Dataset Understanding ワークショップの第 1 回 DataCV チャレンジのソリューションを紹介します。データセット。 KCFCA は、K-means アルゴリズムを利用して、ラベル付けされたトレーニング セットとラベル付けされていないテスト セットをクラスター化し、クラスターの中心を特徴の一貫性に合わせます。次に、動的回帰モデルを開発して、分布の変化とモデルの精度の関係を捉えます。第三に、外れ値モデル要因を発見し、外れ値モデルを排除し、複数の自動評価モデルの長所を組み合わせるアルゴリズムを設計します。 DataCV Challenge リーダーボードで、私たちのアプローチは 6.8526 の RMSE で 2 位を獲得しました。私たちの方法は、最良のベースライン方法よりも 36% 大幅に改善されました (6.8526 対 10.7378)。さらに、私たちの方法は、検証データセットで比較的堅牢で最適な単一モデルのパフォーマンスを実現します。
The label-free model evaluation aims to predict the model performance on various test sets without relying on ground truths. The main challenge of this task is the absence of labels in the test data, unlike in classical supervised model evaluation. This paper presents our solutions for the 1st DataCV Challenge of the Visual Dataset Understanding workshop at CVPR 2023. Firstly, we propose a novel method called K-means Clustering Based Feature Consistency Alignment (KCFCA), which is tailored to handle the distribution shifts of various datasets. KCFCA utilizes the K-means algorithm to cluster labeled training sets and unlabeled test sets, and then aligns the cluster centers with feature consistency. Secondly, we develop a dynamic regression model to capture the relationship between the shifts in distribution and model accuracy. Thirdly, we design an algorithm to discover the outlier model factors, eliminate the outlier models, and combine the strengths of multiple autoeval models. On the DataCV Challenge leaderboard, our approach secured 2nd place with an RMSE of 6.8526. Our method significantly improved over the best baseline method by 36% (6.8526 vs. 10.7378). Furthermore, our method achieves a relatively more robust and optimal single model performance on the validation dataset.