arXiv reaDer
Coupled Generative Adversarial Network for Continuous Fine-grained Action Segmentation
  マルチモーダルデータと学習されたシーンコンテキスト情報を利用した、連続的なきめ細かい人間の行動セグメンテーションのための新しい条件付きGAN(cGAN)モデルを提案します。提案されたアプローチは、Action GANとAuxiliary GANという2つのGANを使用します。ActionGANは現在のRGBフレームで動作するようにトレーニングされ、Auxiliary GANは深度やオプティカルフローなどの補足情報を使用します。両方のGANの目標は、現在のアクションのベクトル表現である同様の「アクションコード」を生成することです。このプロセスを容易にするために、両方のモードからのデータと最近の出力を組み込むコンテキスト抽出機能を使用して、認識を支援するコンテキスト情報を抽出します。その結果、複数の機能モダリティからタスク固有の損失関数を学習する、GANアーキテクチャが再発します。提案されたネットワークのコンテキストや補助情報などのさまざまな情報ストリームを利用することの重要性を示すために、提案されたモデルのバリアントの広範な評価。モデルは、広く使用されている3つのデータセット(静的および動的カメラ設定を含む50のサラダ、MERLショッピング、ジョージア工科大学のエゴセントリックアクティビティ)で最先端の方法よりも優れていることを示します。
We propose a novel conditional GAN (cGAN) model for continuous fine-grained human action segmentation, that utilises multi-modal data and learned scene context information. The proposed approach utilises two GANs: termed Action GAN and Auxiliary GAN, where the Action GAN is trained to operate over the current RGB frame while the Auxiliary GAN utilises supplementary information such as depth or optical flow. The goal of both GANs is to generate similar `action codes', a vector representation of the current action. To facilitate this process a context extractor that incorporates data and recent outputs from both modes is used to extract context information to aid recognition. The result is a recurrent GAN architecture which learns a task specific loss function from multiple feature modalities. Extensive evaluations on variants of the proposed model to show the importance of utilising different information streams such as context and auxiliary information in the proposed network; and show that our model is capable of outperforming state-of-the-art methods for three widely used datasets: 50 Salads, MERL Shopping and Georgia Tech Egocentric Activities, comprising both static and dynamic camera settings.
updated: Fri Sep 20 2019 01:17:00 GMT+0000 (UTC)
published: Fri Sep 20 2019 01:17:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト