arXiv reaDer
効率の誤称
The Efficiency Misnomer
モデルの効率は、機械学習モデルの開発と展開の重要な側面です。推論の時間と遅延はユーザーエクスペリエンスに直接影響し、一部のアプリケーションには厳しい要件があります。推論コストに加えて、モデルトレーニングは直接的な財政的および環境的影響も及ぼします。モデルの効率を測定するための確立されたメトリック(コスト指標)は多数ありますが、研究者や実務家は、これらのメトリックが相互に相関していると想定し、報告するのはごくわずかです。このホワイトペーパーでは、一般的なコスト指標、それらの長所と短所、およびそれらが互いにどのように矛盾する可能性があるかについて詳しく説明します。コスト指標の不完全なレポートが、さまざまなモデルの実際的な考慮事項の部分的な結論とぼやけた、または不完全な全体像にどのようにつながる可能性があるかを示します。さらに、効率指標のレポートを改善するための提案を示します。
Model efficiency is a critical aspect of developing and deploying machine learning models. Inference time and latency directly affect the user experience, and some applications have hard requirements. In addition to inference costs, model training also have direct financial and environmental impacts. Although there are numerous well-established metrics (cost indicators) for measuring model efficiency, researchers and practitioners often assume that these metrics are correlated with each other and report only few of them. In this paper, we thoroughly discuss common cost indicators, their advantages and disadvantages, and how they can contradict each other. We demonstrate how incomplete reporting of cost indicators can lead to partial conclusions and a blurred or incomplete picture of the practical considerations of different models. We further present suggestions to improve reporting of efficiency metrics.
updated: Wed Mar 16 2022 13:27:44 GMT+0000 (UTC)
published: Mon Oct 25 2021 12:48:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト