この論文では、シーケンシャルセマンティックシーングラフ(S3G)と呼ばれる新しい高圧縮シーン表現からの画像シーケンスベースの自己位置特定(ISS)の問題に対処します。ディープグラフ畳み込みニューラルネットワーク(GCN)の最近の開発により、シーングラフを入力モダリティとして使用できる高圧縮の視覚的場所分類器(VPC)が可能になりました。ただし、このような非常に圧縮性の高いアプリケーションでは、画像からグラフへのマッピングで失われる情報の量が多く、分類のパフォーマンスを損なう可能性があります。この問題に対処するために、ノードとエッジがそれぞれ相互に補完する絶対的および相対的特徴として機能するように、類似性を維持するマッピング、画像からノード、および画像からエッジのペアを提案します。さらに、提案されたGCN-VPCは、クエリ画像シーケンスの視点計画(VP)の新しいタスクに適用され、VPCパフォーマンスのさらなる向上に貢献します。公開NCLTデータセットを使用した実験により、提案された方法の有効性が検証されました。
In this paper, we address the problem of image sequence-based self-localization (ISS) from a new highly compressive scene representation called sequential semantic scene graph (S3G). Recent developments in deep graph convolutional neural networks (GCNs) have enabled a highly compressive visual place classifier (VPC) that can use a scene graph as the input modality. However, in such a highly compressive application, the amount of information lost in the image-to-graph mapping is significant and can damage the classification performance. To address this issue, we propose a pair of similarity-preserving mappings, image-to-nodes and image-to-edges, such that the nodes and edges act as absolute and relative features, respectively, that complement each other. Moreover, the proposed GCN-VPC is applied to a new task of viewpoint planning (VP) of the query image sequence, which contributes to further improvement in the VPC performance. Experiments using the public NCLT dataset validated the effectiveness of the proposed method.