arXiv reaDer
イベントストリームベースの認識のためのポイントボクセル吸収グラフ表現学習
Point-Voxel Absorbing Graph Representation Learning for Event Stream based Recognition
パフォーマンスと効率のバランスを考慮して、通常、サンプリングされたポイントおよびボクセル手法を使用して、密なイベントを疎なイベントにダウンサンプリングします。その後、疎な点/ボクセルをノードとして扱い、グラフ ニューラル ネットワーク (GNN) を採用してイベント データの表現を学習するグラフ モデルを利用するのが一般的な方法です。しかし、良好なパフォーマンスが得られるとはいえ、主に 2 つの問題により、その成果は依然として限定的です。 (1) 既存のイベント GNN は通常、追加の最大 (または平均) プーリング層を採用して、すべてのノードの埋め込みをイベント データ表現全体の単一のグラフ レベル表現に要約します。ただし、このアプローチではグラフ ノードの重要性を捉えることができず、またノード表現を完全に認識することもできません。 (2) 既存の方法は一般に、スパースポイントまたはボクセルグラフ表現モデルのいずれかを採用しているため、これら 2 つのタイプの表現モデル間の相補性についての考慮が欠けています。これらの問題に対処するために、この論文では、イベントストリームデータ表現のための新しいデュアルポイントボクセル吸収グラフ表現学習を提案します。具体的には、入力イベント ストリームが与えられると、まずそれを疎イベント クラウドとボクセル グリッドに変換し、それぞれに対して二重吸収グラフ モデルを構築します。次に、二重吸収グラフ表現と学習のための新しい吸収グラフ畳み込みネットワーク (AGCN) を設計します。提案された AGCN の重要な側面は、ノードの重要性を効果的に取得できるため、導入された吸収ノードを通じてすべてのノード表現を要約する際にノード表現を完全に認識できることです。最後に、二重学習ブランチのイベント表現が連結されて、2 つのキューの相補的な情報が抽出されます。次に、出力はイベント データ分類のために線形層に供給されます。
Considering the balance of performance and efficiency, sampled point and voxel methods are usually employed to down-sample dense events into sparse ones. After that, one popular way is to leverage a graph model which treats the sparse points/voxels as nodes and adopts graph neural networks (GNNs) to learn the representation for event data. Although good performance can be obtained, however, their results are still limited mainly due to two issues. (1) Existing event GNNs generally adopt the additional max (or mean) pooling layer to summarize all node embeddings into a single graph-level representation for the whole event data representation. However, this approach fails to capture the importance of graph nodes and also fails to be fully aware of the node representations. (2) Existing methods generally employ either a sparse point or voxel graph representation model which thus lacks consideration of the complementary between these two types of representation models. To address these issues, in this paper, we propose a novel dual point-voxel absorbing graph representation learning for event stream data representation. To be specific, given the input event stream, we first transform it into the sparse event cloud and voxel grids and build dual absorbing graph models for them respectively. Then, we design a novel absorbing graph convolutional network (AGCN) for our dual absorbing graph representation and learning. The key aspect of the proposed AGCN is its ability to effectively capture the importance of nodes and thus be fully aware of node representations in summarizing all node representations through the introduced absorbing nodes. Finally, the event representations of dual learning branches are concatenated together to extract the complementary information of two cues. The output is then fed into a linear layer for event data classification.
updated: Thu Jun 08 2023 14:38:43 GMT+0000 (UTC)
published: Thu Jun 08 2023 14:38:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト