arXiv reaDer
Video Modeling with Correlation Networks
 モーションは、ビデオ内のアクションを認識するための顕著な手がかりです。最新の行動認識モデルは、オプティカルフローを入力として明示的に使用するか、外観とモーション情報を同時に取得する3D畳み込みフィルターを使用して暗黙的にモーション情報を活用します。このペーパーでは、ネットワークのさまざまなレイヤーの畳み込みフィーチャマップでフレーム間マッチングを確立するために使用できる学習可能な相関演算子に基づく代替アプローチを提案します。提案されたアーキテクチャは、この明示的な時間マッチング情報と、2D畳み込みによってキャプチャされた従来の外観の手がかりとの融合を可能にします。私たちの相関ネットワークは、ビデオモデリングで広く使用されている3D CNNと比較して優れており、トレーニングがはるかに高速でありながら、卓越した2ストリームネットワークで競争力のある結果を実現しています。相関ネットワークがさまざまなビデオデータセットで強力な結果を生成することを経験的に実証し、アクション認識の4つの一般的なベンチマークであるKinetics、Something-Something、Diving48、Sports1Mで最先端のパフォーマンスより優れています。
Motion is a salient cue to recognize actions in video. Modern action recognition models leverage motion information either explicitly by using optical flow as input or implicitly by means of 3D convolutional filters that simultaneously capture appearance and motion information. This paper proposes an alternative approach based on a learnable correlation operator that can be used to establish frame-toframe matches over convolutional feature maps in the different layers of the network. The proposed architecture enables the fusion of this explicit temporal matching information with traditional appearance cues captured by 2D convolution. Our correlation network compares favorably with widely-used 3D CNNs for video modeling, and achieves competitive results over the prominent two-stream network while being much faster to train. We empirically demonstrate that correlation networks produce strong results on a variety of video datasets, and outperform the state of the art on four popular benchmarks for action recognition: Kinetics, Something-Something, Diving48 and Sports1M.
updated: Wed May 27 2020 00:13:12 GMT+0000 (UTC)
published: Fri Jun 07 2019 22:36:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト