arXiv reaDer
ConfusionFlow: A model-agnostic visualization for temporal analysis of classifier confusion
分類子は、最も広く使用されている教師あり機械学習アルゴリズムの1つです。多くの分類モデルが存在し、特定のタスクに適切なものを選択することは困難です。モデルの選択とデバッグ中に、データサイエンティストは分類子のパフォーマンスを評価し、学習行動を経時的に評価し、さまざまなモデルを比較する必要があります。通常、この分析は、精度などの単一の数値のパフォーマンス測定に基づいています。クラスエラーを検査することにより、分類子のより詳細な評価が可能です。混同行列は、これらのクラスエラーを視覚化するための確立された方法ですが、時間分析または比較分析を考慮して設計されていません。より一般的には、確立されたパフォーマンス分析システムでは、クラスレベルの情報の時間分析と比較分析を組み合わせて行うことはできません。この問題に対処するために、クラスの混同行列の利点と長期にわたるパフォーマンス特性の視覚化を組み合わせたインタラクティブな比較視覚化ツールであるConfusionFlowを提案します。 ConfusionFlowはモデルに依存せず、さまざまなモデルタイプ、モデルアーキテクチャ、トレーニングやテストデータセットのパフォーマンスを比較するために使用できます。アクティブラーニングのインスタンス選択戦略に関するケーススタディで、ConfusionFlowの有用性を示します。さらに、ConfusionFlowのスケーラビリティを評価し、ニューラルネットワークプルーニングのコンテキストでの使用例を示します。
Classifiers are among the most widely used supervised machine learning algorithms. Many classification models exist, and choosing the right one for a given task is difficult. During model selection and debugging, data scientists need to assess classifiers' performances, evaluate their learning behavior over time, and compare different models. Typically, this analysis is based on single-number performance measures such as accuracy. A more detailed evaluation of classifiers is possible by inspecting class errors. The confusion matrix is an established way for visualizing these class errors, but it was not designed with temporal or comparative analysis in mind. More generally, established performance analysis systems do not allow a combined temporal and comparative analysis of class-level information. To address this issue, we propose ConfusionFlow, an interactive, comparative visualization tool that combines the benefits of class confusion matrices with the visualization of performance characteristics over time. ConfusionFlow is model-agnostic and can be used to compare performances for different model types, model architectures, and/or training and test datasets. We demonstrate the usefulness of ConfusionFlow in a case study on instance selection strategies in active learning. We further assess the scalability of ConfusionFlow and present a use case in the context of neural network pruning.
updated: Thu Jul 02 2020 17:01:55 GMT+0000 (UTC)
published: Wed Oct 02 2019 14:18:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト