arXiv reaDer
パフォーマンスとデータ要件を予測するためのメタ学習アプローチ
A Meta-Learning Approach to Predicting Performance and Data Requirements
モデルが目標性能に到達するために必要なサンプル数を推定するアプローチを提案します。モデルのパフォーマンスを推定するための事実上の原則であるべき法則は、外挿に小さなデータセット (たとえば、クラスごとに 5 サンプル) を使用すると、大きな誤差につながることがわかりました。これは、ログ データセットのサイズに対するログ パフォーマンス エラーが、少数ショット領域では非線形の進行をたどり、その後に高ショット領域では線形の進行が続くためです。 2 つのデータ体制を異なる方法で処理する、新しい区分べき乗則 (PPL) を導入します。 PPL のパラメーターを推定するために、分類/検出タスク、ResNet/ViT ベースのアーキテクチャ、およびランダム/事前トレーニング済みの初期化にわたって一般化するメタ学習によってトレーニングされたランダム フォレスト リグレッサーを導入します。 PPL は、指数法則と比較して、16 の分類で平均 37%、10 の検出データセットで 33% パフォーマンス推定を改善します。 PPL をさらに拡張して信頼限界を提供し、それを使用して予測範囲を制限し、データの過大評価を分類で 76%、検出データセットで 91% 削減します。
We propose an approach to estimate the number of samples required for a model to reach a target performance. We find that the power law, the de facto principle to estimate model performance, leads to large error when using a small dataset (e.g., 5 samples per class) for extrapolation. This is because the log-performance error against the log-dataset size follows a nonlinear progression in the few-shot regime followed by a linear progression in the high-shot regime. We introduce a novel piecewise power law (PPL) that handles the two data regimes differently. To estimate the parameters of the PPL, we introduce a random forest regressor trained via meta learning that generalizes across classification/detection tasks, ResNet/ViT based architectures, and random/pre-trained initializations. The PPL improves the performance estimation on average by 37% across 16 classification and 33% across 10 detection datasets, compared to the power law. We further extend the PPL to provide a confidence bound and use it to limit the prediction horizon that reduces over-estimation of data by 76% on classification and 91% on detection datasets.
updated: Thu Mar 02 2023 21:48:22 GMT+0000 (UTC)
published: Thu Mar 02 2023 21:48:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト