arXiv reaDer
Hierarchically Learned View-Invariant Representations for Cross-View Action Recognition
  さまざまなビューでの人間の行動の認識は、さまざまなビューでの外観の大きな違いのために困難です。この問題の鍵は、ビュー全体で適切に一般化した判別式のビュー不変表現を学習することです。この論文では、Joint Sparse Representation and Distribution Adaptation(JSRDA)と呼ばれる新しい方法を使用して、ビュー不変表現を階層的に学習することにより、この問題に対処します。堅牢で有益な機能表現を取得するには、まずサンプルアフィニティマトリックスを周辺スタックノイズ除去オートエンコーダー(mSDA)に組み込み、共有機能を取得してから、プライベート機能と組み合わせます。ビュー全体の動画の特徴表現を転送可能にするために、異なるビューで撮影されたビデオのペアから同時に転送可能な辞書のペアを学習し、ビュー全体の各アクションビデオが同じスパース表現を持つようにします。ただし、ビュー間で1つのアクションのスパース表現が同じである統一サブスペースは、ビューの差が大きい場合には存在しない可能性があるため、ビュー間での分布の違いは依然として存在します。したがって、ソースとターゲットのビューデータをそれぞれの低次元サブスペースに投影する投影のセットを学習する、新しい教師なし分布適応方法を提案します。したがって、最終的に学習された特徴表現は、ビュー不変であり、ビューの差が大きい場合でも、ビュー全体の実質的な分布の違いに対してロバストです。 4つのマルチビューデータセットの実験結果は、このアプローチが最先端のアプローチよりも優れていることを示しています。
Recognizing human actions from varied views is challenging due to huge appearance variations in different views. The key to this problem is to learn discriminant view-invariant representations generalizing well across views. In this paper, we address this problem by learning view-invariant representations hierarchically using a novel method, referred to as Joint Sparse Representation and Distribution Adaptation (JSRDA). To obtain robust and informative feature representations, we first incorporate a sample-affinity matrix into the marginalized stacked denoising Autoencoder (mSDA) to obtain shared features, which are then combined with the private features. In order to make the feature representations of videos across views transferable, we then learn a transferable dictionary pair simultaneously from pairs of videos taken at different views to encourage each action video across views to have the same sparse representation. However, the distribution difference across views still exists because a unified subspace where the sparse representations of one action across views are the same may not exist when the view difference is large. Therefore, we propose a novel unsupervised distribution adaptation method that learns a set of projections that project the source and target views data into respective low-dimensional subspaces where the marginal and conditional distribution differences are reduced simultaneously. Therefore, the finally learned feature representation is view-invariant and robust for substantial distribution difference across views even the view difference is large. Experimental results on four multiview datasets show that our approach outperforms the state-ofthe-art approaches.
updated: Wed Sep 18 2019 08:14:46 GMT+0000 (UTC)
published: Mon Sep 03 2018 01:31:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト