arXiv reaDer
Detecting the Starting Frame of Actions in Video
 この作業では、アクションのキーフレームを正確にローカライズする問題、たとえば、投手が野球を放つ正確な時間や、観客が拍手し始める正確な時間に対処します。キーフレームのローカライズは、たとえば神経科学の分野で見落とされがちな重要なアクション認識の問題であり、アクションの開始を引き起こす神経活動を理解したいと考えています。この問題に対処するために、このようなアプリケーションで問題となるタイプのエラーに適切に重み付けする新規の構造化損失関数を導入します。構造化された損失は、予測されたアクションの開始とラベル付きのアクションの開始との最適な一致に基づいています。リカレントニューラルネットワーク(RNN)をトレーニングして、この損失の微分可能な近似を最小化します。これらの方法を評価するために、一連のアクションを実行するマウスの大きな注釈付きビデオデータセットであるMouse Reach Datasetを導入します。データセットは、神経科学研究の目的で専門家によって収集およびラベル付けされました。このデータセットでは、非構造化損失を使用して、この方法が関連するアプローチおよびベースラインメソッドよりも優れていることを示しています。
In this work, we address the problem of precisely localizing key frames of an action, for example, the precise time that a pitcher releases a baseball, or the precise time that a crowd begins to applaud. Key frame localization is a largely overlooked and important action-recognition problem, for example in the field of neuroscience, in which we would like to understand the neural activity that produces the start of a bout of an action. To address this problem, we introduce a novel structured loss function that properly weights the types of errors that matter in such applications: it more heavily penalizes extra and missed action start detections over small misalignments. Our structured loss is based on the best matching between predicted and labeled action starts. We train recurrent neural networks (RNNs) to minimize differentiable approximations of this loss. To evaluate these methods, we introduce the Mouse Reach Dataset, a large, annotated video dataset of mice performing a sequence of actions. The dataset was collected and labeled by experts for the purpose of neuroscience research. On this dataset, we demonstrate that our method outperforms related approaches and baseline methods using an unstructured loss.
updated: Fri Jan 17 2020 20:11:54 GMT+0000 (UTC)
published: Fri Jun 07 2019 21:48:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト