arXiv reaDer
シーケンシャル セマンティック シーン グラフとグラフ畳み込みニューラル ネットワークを使用した高度に圧縮された視覚的自己位置推定
Highly Compressive Visual Self-localization Using Sequential Semantic Scene Graph and Graph Convolutional Neural Network
この論文では、シーケンシャル セマンティック シーン グラフ (S3G) と呼ばれる新しい高度に圧縮されたシーン表現からの画像シーケンス ベースの自己位置特定の問題に対処します。ロボットが仮想トレーニングおよび実際の展開環境で長期にわたる膨大な数の VPR タスクを実行するには、高度に圧縮されたシーン表現が不可欠です。ディープ グラフ畳み込みニューラル ネットワーク (GCN) の最近の開発により、シーン グラフを入力モダリティとして使用できる高圧縮の視覚的場所分類器 (VPC) が可能になりました。ただし、このような高度に圧縮されたアプリケーションでは、画像からグラフへのマッピングで失われる情報量が多く、分類のパフォーマンスが低下する可能性があります。この問題に対処するために、ノードとエッジがそれぞれ絶対的および相対的な機能として機能し、互いに補完するように、類似性を維持するマッピング、イメージからノード、およびイメージからエッジのペアを提案します。さらに、提案された GCN-VPC は、クエリ画像シーケンスの視点計画の新しいタスクに適用され、VPC パフォーマンスのさらなる改善に貢献します。パブリック NCLT データセットを使用した実験により、提案された方法の有効性が検証されました。
In this paper, we address the problem of image sequence-based self-localization from a new highly compressive scene representation called sequential semantic scene graph (S3G). Highly-compressive scene representation is essential for robots to perform long-term and huge-numbers of VPR tasks in virtual-training and real-deploy environments. Recent developments in deep graph convolutional neural networks (GCNs) have enabled a highly compressive visual place classifier (VPC) that can use a scene graph as the input modality. However, in such a highly compressive application, the amount of information lost in the image-to-graph mapping is significant and can damage the classification performance. To address this issue, we propose a pair of similarity-preserving mappings, image-to-nodes and image-to-edges, such that the nodes and edges act as absolute and relative features, respectively, that complement each other. Moreover, the proposed GCN-VPC is applied to a new task of viewpoint planning of the query image sequence, which contributes to further improvement in the VPC performance. Experiments using the public NCLT dataset validated the effectiveness of the proposed method.
updated: Sun Oct 30 2022 01:53:39 GMT+0000 (UTC)
published: Thu Sep 09 2021 21:49:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト