arXiv reaDer
効率的な ML システムに向けて: 大規模なカーシェアリング プラットフォームにおけるタスクの精度とエンジニアリング効率のトレードオフを明らかにする
Towards an Efficient ML System: Unveiling a Trade-off between Task Accuracy and Engineering Efficiency in a Large-scale Car Sharing Platform
教師あり深層ニューラル ネットワークの優れたパフォーマンスにより、ML システムを開発する従来の手順はタスク中心であり、タスクの精度を最大化することを目的としています。ただし、ML の実践者がドメイン内の複数のタスクを解決する場合、このタスク中心の ML システムはエンジニアリング効率に欠けていることを精査しました。この問題を解決するために、実践者のドメインに存在する多数のデータセット、分類子、分布外検出器、および予測テーブルを単一の ML パイプラインに連結する、効率中心の ML システムを提案します。現実世界のカーシェアリング プラットフォームのさまざまな画像認識タスクの下で、提案されたシステムをどのように確立したか、およびこの旅から学んだ教訓を次のように説明します。まず、提案された ML システムは、競争力のあるタスク精度を達成しながら、最高のエンジニアリング効率を達成します。さらに、タスク中心のパラダイムと比較して、効率中心の ML システムは、現実の世界に頻繁に存在するマルチラベル可能なサンプルに対して満足のいく予測結果をもたらすことを発見しました。連結されたデータセットからより広いラベル空間を学習した表現力から得られるこれらの利点を分析します。最後になりましたが、私たちの調査では、この効率中心の ML システムを実際のライブ クラウド環境にデプロイする方法を詳しく説明しました。提案されたアナロジーに基づいて、ML の実践者が私たちの研究を利用して、その分野のエンジニアリング効率を高めることができると強く期待しています。
Upon the significant performance of the supervised deep neural networks, conventional procedures of developing ML system are task-centric, which aims to maximize the task accuracy. However, we scrutinized this task-centric ML system lacks in engineering efficiency when the ML practitioners solve multiple tasks in their domain. To resolve this problem, we propose an efficiency-centric ML system that concatenates numerous datasets, classifiers, out-of-distribution detectors, and prediction tables existing in the practitioners' domain into a single ML pipeline. Under various image recognition tasks in the real world car-sharing platform, our study illustrates how we established the proposed system and lessons learned from this journey as follows. First, the proposed ML system accomplishes supreme engineering efficiency while achieving a competitive task accuracy. Moreover, compared to the task-centric paradigm, we discovered that the efficiency-centric ML system yields satisfactory prediction results on multi-labelable samples, which frequently exist in the real world. We analyze these benefits derived from the representation power, which learned broader label spaces from the concatenated dataset. Last but not least, our study elaborated how we deployed this efficiency-centric ML system is deployed in the real world live cloud environment. Based on the proposed analogies, we highly expect that ML practitioners can utilize our study to elevate engineering efficiency in their domain.
updated: Mon Oct 10 2022 15:40:50 GMT+0000 (UTC)
published: Mon Oct 10 2022 15:40:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト