顔認識システムのパフォーマンスを向上させるために、単一のRGB画像から深度画像を生成するTeacher-Student Generative Adversarial Network(TS-GAN)を紹介します。目に見えないデータセット全体を適切に一般化する方法のために、アーキテクチャ内の2つのコンポーネント、教師と学生を設計します。教師は、それ自体がジェネレータとディスクリミネータで構成されており、教師付きの方法で、入力RGBとペアの深度画像の間の潜在的なマッピングを学習します。 2つのジェネレーター(1つは教師と共有)とディスクリミネーターで構成される学生は、一般化を改善するために、利用可能なペアの深度情報がない新しいRGBデータから学習します。完全にトレーニングされた共有ジェネレーターを実行時に使用して、顔認識などのダウンストリームアプリケーション用にRGBからの深さを幻覚化することができます。合成深度画像の生成において、TS-GANが他の方法よりも優れていることを示すために厳密な実験を行います。さらに、顔認識実験は、入力RGB画像とともに幻覚の深さが、IIIT-D、EURECOMの平均値+ 1.2%、+ 2.6%、および+ 2.6%だけ、単一のRGBモダリティと比較してさまざまなアーキテクチャ全体のパフォーマンスを向上させることを示しています、およびLFWデータセット。 https://github.com/hardik-uppal/teacher-student-gan.gitで実装を公開しています。
We present the Teacher-Student Generative Adversarial Network (TS-GAN) to generate depth images from single RGB images in order to boost the performance of face recognition systems. For our method to generalize well across unseen datasets, we design two components in the architecture, a teacher and a student. The teacher, which itself consists of a generator and a discriminator, learns a latent mapping between input RGB and paired depth images in a supervised fashion. The student, which consists of two generators (one shared with the teacher) and a discriminator, learns from new RGB data with no available paired depth information, for improved generalization. The fully trained shared generator can then be used in runtime to hallucinate depth from RGB for downstream applications such as face recognition. We perform rigorous experiments to show the superiority of TS-GAN over other methods in generating synthetic depth images. Moreover, face recognition experiments demonstrate that our hallucinated depth along with the input RGB images boosts performance across various architectures when compared to a single RGB modality by average values of +1.2%, +2.6%, and +2.6% for IIIT-D, EURECOM, and LFW datasets respectively. We make our implementation public at: https://github.com/hardik-uppal/teacher-student-gan.git.