顔認識は、超大規模で適切にラベル付けされたデータセットにより、ディープラーニングの時代に大きな進歩を遂げました。ただし、超大規模なデータセットのトレーニングには時間がかかり、多くのハードウェアリソースを消費します。したがって、効果的かつ効率的なトレーニングアプローチを設計することは非常に重要であり、不可欠です。重い計算コストとメモリコストは、主に完全接続(FC)層の高次元性に起因します。具体的には、次元は顔のアイデンティティの数によって決定され、100万レベル以上になる可能性があります。この目的のために、Faster Face Classification(F ^ 2C)と呼ばれる、超大規模な顔データセットの新しいトレーニングアプローチを提案します。 F ^ 2Cでは、最初に、アイデンティティの中心を生成し、顔認識のために顔の特徴を抽出するために使用されるギャラリーネットとプローブネットをそれぞれ定義します。 GalleryNetはProbeNetと同じ構造を持ち、移動平均パラダイムを使用してProbeNetからパラメーターを継承します。その後、FCレイヤーのトレーニング時間とハードウェアコストを削減するために、Gallery Netの機能を格納し、正のサンプル(IDがDCPにある)を使用して内積(ロジット)を計算する動的クラスプール(DCP)を提案します。 )各ミニバッチで。 DCPはFC層の代替と見なすことができますが、はるかに小さく、計算コストとメモリコストを大幅に削減します。ネガティブサンプル(IDがDCPにない)の場合、ネガティブサンプルとDCPのコサイン類似度を最小限に抑えます。次に、DCPのパラメーターの更新効率と速度を向上させるために、IDベースのローダーとインスタンスベースのローダーを含むデュアルローダーを設計して、IDとインスタンスをロードしてトレーニングバッチを生成します。
Face recognition has achieved significant progress in deep-learning era due to the ultra-large-scale and well-labeled datasets. However, training on ultra-large-scale datasets is time-consuming and takes up a lot of hardware resource. Therefore, designing an effective and efficient training approach is very crucial and indispensable. The heavy computational and memory costs mainly result from the high dimentionality of the Fully-Connected (FC) layer. Specifically, the dimensionality is determined by the number of face identities, which can be million-level or even more. To this end, we propose a novel training approach for ultra-large-scale face datasets, termed Faster Face Classification (F^2C). In F^2C, we first define a Gallery Net and a Probe Net that are used to generate identities' centers and extract faces' features for face recognition, respectively. Gallery Net has the same structure as Probe Net and inherits the parameters from Probe Net with a moving average paradigm. After that, to reduce the training time and hardware costs of the FC layer, we propose a Dynamic Class Pool (DCP) that stores the features from Gallery Net and calculates the inner product (logits) with positive samples (whose identities are in the DCP) in each mini-batch. DCP can be regarded as a substitute for the FC layer but it is far smaller, greatly reducing the computational and memory costs. For negative samples (whose identities are not in DCP), we minimize the cosine similarities between negative samples and those in DCP. Then, to improve the update efficiency and speed of DCP's parameters, we design the Dual Loaders including Identity-based and Instance-based Loaders to load identities and instances to generate training batches.