arXiv reaDer
GCNNMatch:シンクホーン正規化によるマルチオブジェクト追跡のためのグラフ畳み込みニューラルネットワーク
GCNNMatch: Graph Convolutional Neural Networks for Multi-Object Tracking via Sinkhorn Normalization
この論文は、グラフ畳み込みニューラルネットワーク(GCNN)ベースの特徴抽出とオブジェクト関連付けのためのエンドツーエンドの特徴マッチングを使用したオンラインマルチオブジェクト追跡(MOT)の新しい方法を提案します。グラフベースのアプローチは、過去のフレームと現在のフレームでのオブジェクトの外観とジオメトリの両方を特徴学習のタスクに組み込みます。この新しいパラダイムにより、ネットワークはオブジェクトのジオメトリの「コンテキスト」情報を活用でき、複数のオブジェクトの機能間の相互作用をモデル化できます。提案されたフレームワークのもう1つの中心的な革新は、モデルトレーニング中にオブジェクト間の関連付けをエンドツーエンドで学習するためのシンクホーンアルゴリズムの使用です。ネットワークは、MOTタスクに固有の制約を考慮に入れて、オブジェクトの関連付けを予測するようにトレーニングされています。実験結果は、最先端のオンラインアプローチの中でMOT '15、'16、'17、および'20の課題で最高のパフォーマンスを達成する上で提案されたアプローチの有効性を示しています。コードはhttps://github.com/IPapakis/GCNNMatchで入手できます。
This paper proposes a novel method for online Multi-Object Tracking (MOT) using Graph Convolutional Neural Network (GCNN) based feature extraction and end-to-end feature matching for object association. The Graph based approach incorporates both appearance and geometry of objects at past frames as well as the current frame into the task of feature learning. This new paradigm enables the network to leverage the "context" information of the geometry of objects and allows us to model the interactions among the features of multiple objects. Another central innovation of our proposed framework is the use of the Sinkhorn algorithm for end-to-end learning of the associations among objects during model training. The network is trained to predict object associations by taking into account constraints specific to the MOT task. Experimental results demonstrate the efficacy of the proposed approach in achieving top performance on the MOT '15, '16, '17 and '20 Challenges among state-of-the-art online approaches. The code is available at https://github.com/IPapakis/GCNNMatch.
updated: Fri Apr 16 2021 16:36:09 GMT+0000 (UTC)
published: Wed Sep 30 2020 19:18:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト