このホワイトペーパーでは、入力として一連の画像(複数のカメラソースやビデオフレームなど)が与えられた場合のオブジェクト認識の問題について説明します。畳み込みニューラルネットワーク(CNN)ベースのフレームワークは、これらのセットを効果的に活用せず、観察されたパターンを処理し、セット内の画像の分散を考慮しないため、基になる特徴分布をキャプチャしません。この問題に対処するために、画像セットをより効果的に処理し、エンドツーエンドの方法でトレーニングできる、分類器としてCNNの上に埋め込まれたNN層であるグラスマン学習相互部分空間法(G-LMSM)を提案します。 。画像セットは、低次元の入力部分空間で表されます。そして、この入力部分空間は、それらの正準角度の類似性によって参照部分空間と一致します。これは、解釈可能で計算が容易なメトリックです。 G-LMSMの重要なアイデアは、参照部分空間が、リーマン確率的勾配降下法で最適化されたグラスマン多様体上の点として学習されることです。この学習は安定していて効率的で、理論的には十分に根拠があります。提案した方法が手の形の認識、顔の識別、顔の感情の認識に有効であることを示します。
This paper addresses the problem of object recognition given a set of images as input (e.g., multiple camera sources and video frames). Convolutional neural network (CNN)-based frameworks do not exploit these sets effectively, processing a pattern as observed, not capturing the underlying feature distribution as it does not consider the variance of images in the set. To address this issue, we propose the Grassmannian learning mutual subspace method (G-LMSM), a NN layer embedded on top of CNNs as a classifier, that can process image sets more effectively and can be trained in an end-to-end manner. The image set is represented by a low-dimensional input subspace; and this input subspace is matched with reference subspaces by a similarity of their canonical angles, an interpretable and easy to compute metric. The key idea of G-LMSM is that the reference subspaces are learned as points on the Grassmann manifold, optimized with Riemannian stochastic gradient descent. This learning is stable, efficient and theoretically well-grounded. We demonstrate the effectiveness of our proposed method on hand shape recognition, face identification, and facial emotion recognition.