顔の検証のために訓練された多くの一般的な畳み込みニューラルネットワーク(CNN)が、回転下でほぼ同等の関数を学習するという証拠を提示します。より具体的には、パフォーマンスの低下をほとんど伴わずに、回転または線形変換のみを行った後、1つの顔検証モデルの埋め込み(つまり、最終層のアクティブ化)を別のモデルの埋め込みと直接比較できることを示します。この発見は、トレーニングデータセット、CNNアーキテクチャ、角度損失計算の方法、または3つの組み合わせが異なる10個の最新の既製のCNNベースの顔検証モデルの組み合わせ全体でIJB-C 1:1検証を使用して実証されています。 。これらのネットワークは、0.01の偽受け入れ率で0.96の平均真受け入れ率を達成します。代わりに、2つのCNNから生成された埋め込みを評価する場合、1つのCNNの埋め込みは線形変換でマッピングされ、同じ検証パラダイムを使用して、平均真の受け入れ率は0.95に低下します。これらの線形マップをローテーションのみを実行するように制限すると、平均真の受け入れ率は0.91になります。これらのマッピングの存在は、トレーニングや構造の変化にもかかわらず、共通の表現がモデルによって学習されることを示唆しています。フェイステンプレートのセキュリティに関する例を含め、このような結果がもたらす幅広い影響について説明します。
We present evidence that many common convolutional neural networks (CNNs) trained for face verification learn functions that are nearly equivalent under rotation. More specifically, we demonstrate that one face verification model's embeddings (i.e. last-layer activations) can be compared directly to another model's embeddings after only a rotation or linear transformation, with little performance penalty. This finding is demonstrated using IJB-C 1:1 verification across the combinations of ten modern off-the-shelf CNN-based face verification models which vary in training dataset, CNN architecture, method of angular loss calculation, or some combination of the 3. These networks achieve a mean true accept rate of 0.96 at a false accept rate of 0.01. When instead evaluating embeddings generated from two CNNs, where one CNN's embeddings are mapped with a linear transformation, the mean true accept rate drops to 0.95 using the same verification paradigm. Restricting these linear maps to only perform rotation produces a mean true accept rate of 0.91. These mappings' existence suggests that a common representation is learned by models despite variation in training or structure. We discuss the broad implications a result like this has, including an example regarding face template security.