視覚分類モデルは、データ分布の変化に直面してキャリブレーションが不十分になることはよく知られています。この論文では、この問題に対して幾何学的なアプローチを取ります。サンプル特徴埋め込みのノルムとターゲット分類器への角度類似性をインスタンス依存コンポーネントとインスタンス非依存コンポーネントに分解する幾何学的感度分解(GSD)を提案します。インスタンスに依存するコンポーネントは、入力の変更に関する機密情報をキャプチャしますが、インスタンスに依存しないコンポーネントは、トレーニングデータセットの損失を最小限に抑えるためだけに機能する機密情報を表します。分解に触発されて、現在のソフトマックス線形モデルへの単純な拡張を分析的に導き出します。これは、トレーニング中に2つのコンポーネントを解きほぐすことを学習します。いくつかの一般的なビジョンモデルでは、解きほぐされたモデルは、配布外(OOD)データと破損に直面して、標準のキャリブレーションメトリックで他のキャリブレーション方法よりもはるかに複雑さが少なくなります。具体的には、予想されるキャリブレーションエラーで破損したCIFAR100の相対的な改善が30.8%向上し、現在の最先端技術を上回っています。コードはhttps://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.gitで入手できます。
It is well known that vision classification models suffer from poor calibration in the face of data distribution shifts. In this paper, we take a geometric approach to this problem. We propose Geometric Sensitivity Decomposition (GSD) which decomposes the norm of a sample feature embedding and the angular similarity to a target classifier into an instance-dependent and an instance-independent component. The instance-dependent component captures the sensitive information about changes in the input while the instance-independent component represents the insensitive information serving solely to minimize the loss on the training dataset. Inspired by the decomposition, we analytically derive a simple extension to current softmax-linear models, which learns to disentangle the two components during training. On several common vision models, the disentangled model outperforms other calibration methods on standard calibration metrics in the face of out-of-distribution (OOD) data and corruption with significantly less complexity. Specifically, we surpass the current state of the art by 30.8% relative improvement on corrupted CIFAR100 in Expected Calibration Error. Code available at https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git.