3Dメッシュの幾何学的特徴学習は、コンピューターグラフィックスの中心であり、多くの視覚アプリケーションにとって非常に重要です。ただし、ディープラーニングは現在、必要な操作や効率的な実装が不足しているため、異種3Dメッシュの階層モデリングに遅れをとっています。この論文では、異種3Dメッシュ上で効果的な幾何学的深層学習のための一連のモジュラー操作を提案します。これらの操作には、メッシュの畳み込み、(アン)プーリング、および効率的なメッシュデシメーションが含まれます。これらの操作のオープンソース実装を提供します。これらはまとめてPicassoと呼ばれます。 PicassoのメッシュデシメーションモジュールはGPUで高速化されており、ディープラーニングのためにメッシュのバッチをオンザフライで処理できます。私たちの(アン)プーリング操作は、さまざまな解像度のネットワーク層にわたって新しく作成されたニューロンの機能を計算します。メッシュ畳み込みには、ファジーモデリングを組み込むためにvMF混合と重心補間を利用するfacet2vertex、vertex2facet、およびfacet2facet畳み込みが含まれます。 Picassoのモジュラー操作を活用して、新しい階層型ニューラルネットワークであるPicassoNet-IIを提供し、3Dメッシュから高度に識別可能な特徴を学習します。 PicassoNet-IIは、フルシーンメッシュを処理しながら、メッシュファセットのプリミティブなジオメトリと細かいテクスチャを入力フィーチャとして受け入れます。私たちのネットワークは、さまざまなベンチマークでの形状分析とシーン解析で非常に競争力のあるパフォーマンスを実現します。 PicassoとPicassoNet-IIをGithubhttps://github.com/EnyaHermite/Picassoでリリースします。
Geometric feature learning for 3D meshes is central to computer graphics and highly important for numerous vision applications. However, deep learning currently lags in hierarchical modeling of heterogeneous 3D meshes due to the lack of required operations and/or their efficient implementations. In this paper, we propose a series of modular operations for effective geometric deep learning over heterogeneous 3D meshes. These operations include mesh convolutions, (un)pooling and efficient mesh decimation. We provide open source implementation of these operations, collectively termed Picasso. The mesh decimation module of Picasso is GPU-accelerated, which can process a batch of meshes on-the-fly for deep learning. Our (un)pooling operations compute features for newly-created neurons across network layers of varying resolution. Our mesh convolutions include facet2vertex, vertex2facet, and facet2facet convolutions that exploit vMF mixture and Barycentric interpolation to incorporate fuzzy modelling. Leveraging the modular operations of Picasso, we contribute a novel hierarchical neural network, PicassoNet-II, to learn highly discriminative features from 3D meshes. PicassoNet-II accepts primitive geometrics and fine textures of mesh facets as input features, while processing full scene meshes. Our network achieves highly competitive performance for shape analysis and scene parsing on a variety of benchmarks. We release Picasso and PicassoNet-II on Github https://github.com/EnyaHermite/Picasso.