arXiv reaDer
シナリオ-AIベンチマークの蒸留
Scenario-distilling AI Benchmarking
インターネットサービスのような最新の実際のアプリケーションシナリオは、非常に長く複雑な実行パスを持つAIモジュールと非AIモジュールの多様性で構成されているだけでなく、コードサイズが非常に大きいため、深刻なベンチマークや評価の課題が発生します。 AIコンポーネントまたはマイクロベンチマークを単独で使用すると、エラーが発生しやすい結論につながる可能性があります。このホワイトペーパーでは、上記の課題に取り組むためのシナリオ蒸留方法を紹介します。実世界のアプリケーションシナリオを有向非巡回グラフベースのモデルとして形式化し、それを高レベルのシナリオベンチマーク仕様として必須のAIタスクと非AIタスクの順列に抽出するルールを提案します。 17の業界パートナーと協力して、9つの典型的なアプリケーションシナリオを抽出し、主要なコンポーネントを特定します。高度に拡張可能で、構成可能で、柔軟なベンチマークフレームワークを設計および実装します。これに基づいて、2つのインターネットサービスAIシナリオベンチマークを、2つの実際のアプリケーションシナリオのプロキシとして実装します。シナリオ、コンポーネント、およびマイクロベンチマークは、評価に不可欠な3つの部分と見なす必要があると主張します。私たちの評価は、コンポーネントまたはマイクロAIベンチマークのみを使用することに対する私たちの方法論の利点を示しています。仕様、ソースコード、テストベッド、および結果は、https://www.benchcouncil.org/aibench-scenario/index.htmlから公開されています。
Modern real-world application scenarios like Internet services not only consist of diversity of AI and non-AI modules with very long and complex execution paths, but also have huge code size, which raises serious benchmarking or evaluating challenges. Using AI components or micro benchmarks alone can lead to error-prone conclusions. This paper presents a scenario-distilling methodology to attack the above challenge. We formalize a real-world application scenario as a Directed Acyclic Graph-based model, and propose the rules to distill it into the permutation of essential AI and non-AI tasks as a high-level scenario benchmark specification. Together with seventeen industry partners, we extract nine typical application scenarios, and identify the primary components. We design and implement a highly extensible, configurable, and flexible benchmark framework, on the basis of which, we implement two Internet service AI scenario benchmarks as proxies to two real-world application scenarios. We claim scenario, component and micro benchmarks should be considered as three indispensable parts for evaluating. Our evaluation shows the advantage of our methodology against using component or micro AI benchmarks alone. The specifications, source code, testbed, and results are publicly available from https://www.benchcouncil.org/aibench-scenario/index.html.
updated: Mon Feb 08 2021 11:11:14 GMT+0000 (UTC)
published: Wed May 06 2020 01:24:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト