顔認識は、コンピュータビジョンにおいて重要でありながら挑戦的な問題です。実際の顔認識アプリケーションにおける主な課題は、プロファイルと正面の顔の間の大きな違いにあります。従来の手法では、正面の顔を合成するか、ポーズ不変の学習を行うことで、この課題に対処しています。この論文では、3D空間での顔の回転が畳み込みニューラルネットワーク(CNN)の深い特徴生成プロセスにどのように影響するかを調べるために、リー代数理論を使用した新しい方法を提案します。画像空間での顔の回転は、回転によってのみ決定されるCNNの特徴空間での付加的な残差成分と同等であることを証明します。この理論的発見に基づいて、ポーズのロバストな顔認識に取り組むためのリー代数残差ネットワーク(LARNet)をさらに設計します。当社のLARNetは、入力顔画像から回転情報をデコードするための残差サブネットと、特徴学習プロセスに寄与する残差コンポーネントの強度を制御するための回転の大きさを学習するためのゲーティングサブネットで構成されています。正面プロファイルの顔データセットと一般的な顔認識データセットの両方に対する包括的な実験的評価は、私たちの方法が常に最先端の方法を上回っていることを説得力を持って示しています。
Face recognition is an important yet challenging problem in computer vision. A major challenge in practical face recognition applications lies in significant variations between profile and frontal faces. Traditional techniques address this challenge either by synthesizing frontal faces or by pose invariant learning. In this paper, we propose a novel method with Lie algebra theory to explore how face rotation in the 3D space affects the deep feature generation process of convolutional neural networks (CNNs). We prove that face rotation in the image space is equivalent to an additive residual component in the feature space of CNNs, which is determined solely by the rotation. Based on this theoretical finding, we further design a Lie Algebraic Residual Network (LARNet) for tackling pose robust face recognition. Our LARNet consists of a residual subnet for decoding rotation information from input face images, and a gating subnet to learn rotation magnitude for controlling the strength of the residual component contributing to the feature learning process. Comprehensive experimental evaluations on both frontal-profile face datasets and general face recognition datasets convincingly demonstrate that our method consistently outperforms the state-of-the-art ones.