フリーハンドスケッチの意味のある表現を学習することは、信号のスパース性とスケッチの高レベルの抽象化を考えると、依然として難しい課題です。既存の手法は、畳み込みニューラルネットワーク(CNN)を使用したスケッチの静的な性質、またはリカレントニューラルネットワーク(RNN)を使用した時間シーケンシャルプロパティのいずれかを活用することに焦点を合わせてきました。この作業では、スケッチの複数の疎接続グラフとしての新しい表現を提案します。グローバルグラフとローカルジオメトリストローク構造、および時間情報を同時にキャプチャする複数のグラフからスケッチの表現を学習するために、新しいグラフニューラルネットワーク(GNN)、マルチグラフトランスフォーマー(MGT)を設計します。提案されたアプローチのパフォーマンスを示すために、スケッチ認識タスクに関する広範な数値実験を報告します。特に、MGTはGoogle QuickDrawの414kスケッチに適用されます:(i)CNNベースのパフォーマンスの上限(72.80%対74.22%)の小さな認識ギャップを実現し、(ii)すべてのRNNベースのモデルよりも大幅なマージンで優れています。私たちの知る限り、これはスケッチをグラフとして表現し、GNNをスケッチ認識に適用することを提案する最初の作品です。コードおよびトレーニング済みモデルは、https://github.com/PengBoXiangShang/multigraph_transformerで入手できます。
Learning meaningful representations of free-hand sketches remains a challenging task given the signal sparsity and the high-level abstraction of sketches. Existing techniques have focused on exploiting either the static nature of sketches with Convolutional Neural Networks (CNNs) or the temporal sequential property with Recurrent Neural Networks (RNNs). In this work, we propose a new representation of sketches as multiple sparsely connected graphs. We design a novel Graph Neural Network (GNN), the Multi-Graph Transformer (MGT), for learning representations of sketches from multiple graphs which simultaneously capture global and local geometric stroke structures, as well as temporal information. We report extensive numerical experiments on a sketch recognition task to demonstrate the performance of the proposed approach. Particularly, MGT applied on 414k sketches from Google QuickDraw: (i) achieves small recognition gap to the CNN-based performance upper bound (72.80% vs. 74.22%), and (ii) outperforms all RNN-based models by a significant margin. To the best of our knowledge, this is the first work proposing to represent sketches as graphs and apply GNNs for sketch recognition. Code and trained models are available at https://github.com/PengBoXiangShang/multigraph_transformer.