arXiv reaDer
Learning Propagation for Arbitrarily-structured Data
  スーパーピクセルや点群などの任意の構造を含む入力信号の処理は、コンピュータービジョンの大きな課題のままです。画像処理の効果的なモデルである線形拡散は、最近、深層学習アルゴリズムと統合されました。本稿では、空間一般化伝播ネットワーク(SGPN)を介して、任意の構造のデータでセマンティックセグメンテーションを改善するために、グローバルな方法でデータポイント間のペアワイズ関係を学習することを提案します。ネットワークは、学習した線形拡散プロセスにより、任意の構造のデータを表すグラフのグループに情報を伝播します。モジュールは柔軟に組み込まれ、多くのタイプのネットワーク(CNNなど)と共同でトレーニングされます。セマンティックセグメンテーションネットワークで実験します。そこでは、伝播モジュールを使用して、画像、スーパーピクセル、ポイントクラウドなどの異なるデータを共同でトレーニングします。 SGPNは、このモジュールを含まないネットワークと比較して、ピクセルと点群の両方のセグメンテーションのパフォーマンスを一貫して改善することを示しています。私たちの方法は、任意に構造化されたデータのグローバルなペアワイズ関係をモデル化する効果的な方法を提案します。
Processing an input signal that contains arbitrary structures, e.g., superpixels and point clouds, remains a big challenge in computer vision. Linear diffusion, an effective model for image processing, has been recently integrated with deep learning algorithms. In this paper, we propose to learn pairwise relations among data points in a global fashion to improve semantic segmentation with arbitrarily-structured data, through spatial generalized propagation networks (SGPN). The network propagates information on a group of graphs, which represent the arbitrarily-structured data, through a learned, linear diffusion process. The module is flexible to be embedded and jointly trained with many types of networks, e.g., CNNs. We experiment with semantic segmentation networks, where we use our propagation module to jointly train on different data -- images, superpixels and point clouds. We show that SGPN consistently improves the performance of both pixel and point cloud segmentation, compared to networks that do not contain this module. Our method suggests an effective way to model the global pairwise relations for arbitrarily-structured data.
updated: Wed Sep 25 2019 00:13:10 GMT+0000 (UTC)
published: Wed Sep 25 2019 00:13:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト