どのディープ ネットワークが与えられたロジット ベクトルを偶然よりもはるかに高い精度で生成したかを予測できることを示します。ランダムな重みまたは事前トレーニング済みの重みで初期化されたデータセットで、微調整されたネットワークだけでなく、多数のネットワークを利用します。次に、分類子は、このデータセットのトレーニング済みセットのロジット ベクトルでトレーニングされ、ロジット ベクトルをそれを生成したネットワーク インデックスにマッピングします。分類子は、データセットのテスト セットで評価されます。結果は、ランダムに初期化されたネットワークの方が優れていますが、事前学習済みのネットワークや微調整されたネットワークにも一般化されます。分類精度は、正規化されたロジットよりも正規化されていないロジットを使用した方が高くなります。分類子を同じネットワークに適用しても、重みのセットが異なる場合、転送はほとんどないことがわかります。深層ネットワークとそれらが不確実性をエンコードする方法をよりよく理解するのに役立つことに加えて、私たちの発見が一部のアプリケーション (たとえば、特定のタイプのネットワークに対する敵対的攻撃の調整) で役立つと予想されます。コードは https://github.com/aliborji/logits で入手できます。
We show that it is possible to predict which deep network has generated a given logit vector with accuracy well above chance. We utilize a number of networks on a dataset, initialized with random weights or pretrained weights, as well as fine-tuned networks. A classifier is then trained on the logit vectors of the trained set of this dataset to map the logit vector to the network index that has generated it. The classifier is then evaluated on the test set of the dataset. Results are better with randomly initialized networks, but also generalize to pretrained networks as well as fine-tuned ones. Classification accuracy is higher using unnormalized logits than normalized ones. We find that there is little transfer when applying a classifier to the same networks but with different sets of weights. In addition to help better understand deep networks and the way they encode uncertainty, we anticipate our finding to be useful in some applications (e.g. tailoring an adversarial attack for a certain type of network). Code is available at https://github.com/aliborji/logits.