急速に進化する機械学習の分野では、モデルの一般化可能性を確保することが依然として本質的な課題です。モデルがトレーニング データでは優れたパフォーマンスを示すものの、目に見えないデータでは機能が低下する過学習は、繰り返し懸念される問題です。この論文では、モデルの過学習傾向を定量的に評価するために考案された新しい指標である過学習指数 (OI) を紹介します。 MobileNet、U-Net、ResNet、Darknet、ViT-32 などのアーキテクチャを使用した乳房超音波画像データセット (BUS) と MNIST データセットに関する広範な実験を通じて、OI の有用性と識別力を説明します。私たちの結果は、アーキテクチャ全体での可変的な過学習動作を強調し、特に小規模でより特殊なデータセットにおけるデータ拡張の緩和的な影響を強調しています。 MNIST での ViT-32 のパフォーマンスは、特定のモデルの堅牢性とデータセットの包括的な性質をさらに強調しています。 OI は、オーバーフィッティングを測定する対物レンズを提供することで、モデルの最適化を進め、現実世界の有効性を確保するための有望な手段を提供します。
In the rapidly evolving domain of machine learning, ensuring model generalizability remains a quintessential challenge. Overfitting, where a model exhibits superior performance on training data but falters on unseen data, is a recurrent concern. This paper introduces the Overfitting Index (OI), a novel metric devised to quantitatively assess a model's tendency to overfit. Through extensive experiments on the Breast Ultrasound Images Dataset (BUS) and the MNIST dataset using architectures such as MobileNet, U-Net, ResNet, Darknet, and ViT-32, we illustrate the utility and discernment of the OI. Our results underscore the variable overfitting behaviors across architectures and highlight the mitigative impact of data augmentation, especially on smaller and more specialized datasets. The ViT-32's performance on MNIST further emphasizes the robustness of certain models and the dataset's comprehensive nature. By providing an objective lens to gauge overfitting, the OI offers a promising avenue to advance model optimization and ensure real-world efficacy.