フリーハンドベクトルスケッチのセマンティックセグメンテーションとラベリングのための畳み込みグラフニューラルネットワークであるSketchGNNを紹介します。入力ストロークベースのスケッチをグラフとして扱います。ノードは入力ストロークに沿ってサンプリングされたポイントを表し、エッジはストローク構造情報をエンコードします。ノードごとのラベルを予測するために、SketchGNNはグラフの畳み込みと静的-動的分岐ネットワークアーキテクチャを使用して、ポイントレベル、ストロークレベル、スケッチレベルの3つのレベルで特徴を抽出します。 SketchGNNは、セマンティックスケッチセグメンテーションの最先端の方法の精度を大幅に向上させ(大規模で挑戦的なSPGデータセットに対してピクセルベースのメトリックで11.2%、コンポーネントベースのメトリックで18.2%)、大きさを備えています画像ベースの方法とシーケンスベースの方法の両方よりも少ないパラメータ。
We introduce SketchGNN, a convolutional graph neural network for semantic segmentation and labeling of freehand vector sketches. We treat an input stroke-based sketch as a graph, with nodes representing the sampled points along input strokes and edges encoding the stroke structure information. To predict the per-node labels, our SketchGNN uses graph convolution and a static-dynamic branching network architecture to extract the features at three levels, i.e., point-level, stroke-level, and sketch-level. SketchGNN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.2% in the pixel-based metric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.