arXiv reaDer
AIBench: An Industry Standard Internet Service AI Benchmark Suite
  今日のインターネットサービスは根本的な変化を遂げており、AIがサービスを強化するために広く採用されているインテリジェントコンピューティング時代に移行しています。これに関連して、多くの革新的なAIアルゴリズム、システム、およびアーキテクチャが提案されているため、それらのベンチマークと評価の重要性が高まっています。ただし、最新のインターネットサービスはマイクロサービスベースのアーキテクチャを採用しており、さまざまなモジュールで構成されています。これらのモジュールの多様性と実行パスの複雑さ、データセンターインフラストラクチャの大規模で複雑な階層、データセットとワークロードの機密問題は、ベンチマークにとって大きな課題となります。このホワイトペーパーでは、業界トップのインターネットサービスプロバイダーをはじめとする17の業界パートナーとの最初の業界標準インターネットサービスAIベンチマークスイートを紹介します。 AIBenchは、疎結合モジュールを含む、拡張性が高く、構成可能で、柔軟なベンチマークフレームワークを提供します。検索エンジン、ソーシャルネットワーク、eコマースの3つの最も重要なインターネットサービスドメインから、それぞれがAIコンポーネントベンチマークを形成する、ランク付け学習などの16の顕著なAI問題ドメインを識別します。 。 AIBenchフレームワークに基づいて、トップeコマースプロバイダーの1つから現実世界のデータセットとワークロードを抽象化し、最初のエンドツーエンドインターネットサービスAIベンチマークを設計および実装します。業界規模のアプリケーションのクリティカルパスであり、さまざまなクラスタースケールに展開するためにスケーラブルです。仕様、ソースコード、およびパフォーマンス番号は、ベンチマーク評議会のWebサイトから公開されています。
Today's Internet Services are undergoing fundamental changes and shifting to an intelligent computing era where AI is widely employed to augment services. In this context, many innovative AI algorithms, systems, and architectures are proposed, and thus the importance of benchmarking and evaluating them rises. However, modern Internet services adopt a microservice-based architecture and consist of various modules. The diversity of these modules and complexity of execution paths, the massive scale and complex hierarchy of datacenter infrastructure, the confidential issues of data sets and workloads pose great challenges to benchmarking. In this paper, we present the first industry-standard Internet service AI benchmark suite---AIBench with seventeen industry partners, including several top Internet service providers. AIBench provides a highly extensible, configurable, and flexible benchmark framework that contains loosely coupled modules. We identify sixteen prominent AI problem domains like learning to rank, each of which forms an AI component benchmark, from three most important Internet service domains: search engine, social network, and e-commerce, which is by far the most comprehensive AI benchmarking effort. On the basis of the AIBench framework, abstracting the real-world data sets and workloads from one of the top e-commerce providers, we design and implement the first end-to-end Internet service AI benchmark, which contains the primary modules in the critical paths of an industry scale application and is scalable to deploy on different cluster scales. The specifications, source code, and performance numbers are publicly available from the benchmark council web site
updated: Wed Oct 23 2019 14:39:47 GMT+0000 (UTC)
published: Tue Aug 13 2019 10:15:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト