arXiv reaDer
コンピュータビジョンにおけるアルゴリズムの進歩
Algorithmic progress in computer vision
おそらく最も有名なコンピューター ビジョンのテスト ベッドである ImageNet での画像分類におけるアルゴリズムの進歩を調査します。ニューラル スケーリングの法則に関する作業に基づいてモデルを推定し、計算、データ、およびアルゴリズムのスケーリングへの進行状況の分解を推測します。 Shapley の値を使用してパフォーマンスの改善を特定すると、アルゴリズムの改善は、進歩したコンピューター ビジョンのコンピューティングのスケーリングとほぼ同じくらい重要であることがわかります。私たちの推定によると、アルゴリズムの革新は、データを増強するアルゴリズムの進歩ではなく、ほとんどの場合、計算を増強するアルゴリズムの進歩 (研究者がより少ない計算でより良いパフォーマンスを得ることができるようにする) の形をとっています。コンピューティング増強アルゴリズムの進歩は、通常ムーアの法則に関連する速度の 2 倍以上の速度で行われていることがわかりました。特に、コンピューティングを強化するイノベーションにより、コンピューティング要件が 9 か月ごとに半分になると推定されます (95% 信頼区間: 4 ~ 25 か月)。
We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95% confidence interval: 4 to 25 months).
updated: Sun Jan 15 2023 20:27:39 GMT+0000 (UTC)
published: Sat Dec 10 2022 00:18:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト