畳み込みニューラルネットワーク(CNN)は、画像関連タスクの最先端モデルとして広く採用されていますが、その予測は、人間の視覚が強い小さな入力摂動に非常に敏感であることがよくあります。このホワイトペーパーでは、3D入力シーンがインタラクティブに摂動されたときにCNNのアクティブ化と予測がどのように進化するかをユーザーが即座に調査できるWebベースのアプリケーションであるPerturberを紹介します。 Perturberは、潜在的な脆弱性の発見を容易にするために、カメラコントロール、ライティングとシェーディングエフェクト、背景の変更、オブジェクトモーフィング、および敵対的な攻撃など、さまざまなシーンの変更を提供します。微調整されたモデルバージョンは、その堅牢性の定性的評価のために直接比較できます。機械学習の専門家によるケーススタディでは、Perturberを使用すると、ユーザーがモデルの脆弱性に関する仮説をすばやく生成し、モデルの動作を定性的に比較できることが示されています。定量分析を使用すると、他のCNNアーキテクチャと入力画像を使用してユーザーの洞察を複製し、敵対的に訓練されたモデルの脆弱性に関する新しい洞察を得ることができます。
While convolutional neural networks (CNNs) have found wide adoption as state-of-the-art models for image-related tasks, their predictions are often highly sensitive to small input perturbations, which the human vision is robust against. This paper presents Perturber, a web-based application that allows users to instantaneously explore how CNN activations and predictions evolve when a 3D input scene is interactively perturbed. Perturber offers a large variety of scene modifications, such as camera controls, lighting and shading effects, background modifications, object morphing, as well as adversarial attacks, to facilitate the discovery of potential vulnerabilities. Fine-tuned model versions can be directly compared for qualitative evaluation of their robustness. Case studies with machine learning experts have shown that Perturber helps users to quickly generate hypotheses about model vulnerabilities and to qualitatively compare model behavior. Using quantitative analyses, we could replicate users' insights with other CNN architectures and input images, yielding new insights about the vulnerability of adversarially trained models.