arXiv reaDer
Non-local Recurrent Neural Memory for Supervised Sequence Modeling
  教師付きシーケンスモデリングの一般的な方法は、リカレントニューラルネットワーク上に構築され、一時的な依存関係をキャプチャします。これらの方法の潜在的な制限の1つは、シーケンス内の隣接するタイムステップ間の情報の相互作用のみを明示的にモデル化することです。したがって、隣接しないタイムステップ間の高次相互作用は完全には活用されません。情報の希釈と勾配の消失により、一次相互作用を長期間維持できないため、長期的な時間依存性のモデリング機能が大幅に制限されます。この制限に対処するために、我々は、非局所操作を実行してスライディング時間ブロック内の全次相互作用を学習し、ゲーテッド再帰方式でブロック間のグローバル相互作用をモデル化する、教師付きシーケンスモデリング用の非局所リカレントニューラルメモリ(NRNM)を提案します。その結果、このモデルは長距離の依存関係をキャプチャできます。また、高次相互作用に含まれる潜在的な高レベルの特徴は、モデルによって抽出できます。 NRNMのメリットを2つの異なるタスク(アクション認識とセンチメント分析)で示します。
Typical methods for supervised sequence modeling are built upon the recurrent neural networks to capture temporal dependencies. One potential limitation of these methods is that they only model explicitly information interactions between adjacent time steps in a sequence, hence the high-order interactions between nonadjacent time steps are not fully exploited. It greatly limits the capability of modeling the long-range temporal dependencies since one-order interactions cannot be maintained for a long term due to information dilution and gradient vanishing. To tackle this limitation, we propose the Non-local Recurrent Neural Memory (NRNM) for supervised sequence modeling, which performs non-local operations to learn full-order interactions within a sliding temporal block and models global interactions between blocks in a gated recurrent manner. Consequently, our model is able to capture the long-range dependencies. Besides, the latent high-level features contained in high-order interactions can be distilled by our model. We demonstrate the merits of our NRNM on two different tasks: action recognition and sentiment analysis.
updated: Mon Aug 26 2019 09:01:57 GMT+0000 (UTC)
published: Mon Aug 26 2019 09:01:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト