arXiv reaDer
Deep Heterogeneous Hashing for Face Video Retrieval
 ハッシュ技術を使用して、顔画像を含む特定の人物の動画をクエリとして取得することには、多くの重要な用途があります。顔画像は通常ユークリッド空間でベクトルとして表されますが、いくつかのロバストセットモデリング手法(たとえば、リーマン多様体に存在するこの研究で活用された共分散行列)で顔ビデオを特徴付けることは、魅力的な利点を示しています。したがって、これにより、問題に一致する厄介な異種空間が発生します。さらに、多くの既存の作品で行われているような手作りの機能を使用したハッシュは、このタスクに望ましいパフォーマンスを達成するには明らかに不十分です。このような問題に対処するために、画像特徴学習、ビデオモデリング、異種ハッシュを含む3つの段階を単一のフレームワークに統合し、顔画像とビデオ。多様体でのハッシュの重要な課題に取り組むために、よく研究されたリーマン核マッピングを使用してデータ(共分散行列)をユークリッド空間に射影し、2つの異種表現を共通のハミング空間に埋め込むことができます。スペースの識別可能性とスペース間の互換性が考慮されます。ネットワークの最適化を実行するために、カーネルマッピングの勾配は、理論的に原理的な方法で構造化マトリックスバックプロパゲーションを介して革新的に導出されます。 3つの挑戦的なデータセットでの実験は、我々の方法が既存のハッシュ方法と比較して非常に競争力のあるパフォーマンスを達成することを示しています。
Retrieving videos of a particular person with face image as a query via hashing technique has many important applications. While face images are typically represented as vectors in Euclidean space, characterizing face videos with some robust set modeling techniques (e.g. covariance matrices as exploited in this study, which reside on Riemannian manifold), has recently shown appealing advantages. This hence results in a thorny heterogeneous spaces matching problem. Moreover, hashing with handcrafted features as done in many existing works is clearly inadequate to achieve desirable performance for this task. To address such problems, we present an end-to-end Deep Heterogeneous Hashing (DHH) method that integrates three stages including image feature learning, video modeling, and heterogeneous hashing in a single framework, to learn unified binary codes for both face images and videos. To tackle the key challenge of hashing on the manifold, a well-studied Riemannian kernel mapping is employed to project data (i.e. covariance matrices) into Euclidean space and thus enables to embed the two heterogeneous representations into a common Hamming space, where both intra-space discriminability and inter-space compatibility are considered. To perform network optimization, the gradient of the kernel mapping is innovatively derived via structured matrix backpropagation in a theoretically principled way. Experiments on three challenging datasets show that our method achieves quite competitive performance compared with existing hashing methods.
updated: Mon Nov 04 2019 07:00:59 GMT+0000 (UTC)
published: Mon Nov 04 2019 07:00:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト