arXiv reaDer
サブディビジョンベースのメッシュ畳み込みネットワーク
Subdivision-Based Mesh Convolution Networks
畳み込みニューラルネットワーク(CNN)は、2Dコンピュータービジョンに大きな進歩をもたらしました。ただし、それらの不規則な構造により、CNNの可能性をメッシュ上で直接利用することは困難です。サブディビジョンサーフェスは、階層的な多重解像度構造を提供します。この構造では、閉じた2多様体三角形メッシュの各面が3つの面に正確に隣接しています。これらの2つの観察に動機付けられて、このペーパーでは、ループ細分割シーケンス接続を備えた3D三角形メッシュ用の革新的で用途の広いCNNフレームワークであるSubdivNetを紹介します。 2D画像のメッシュ面とピクセルを類推すると、メッシュ畳み込み演算子を提示して、近くの面からの局所的な特徴を集約できます。この畳み込みは、顔の近傍を利用することで、標準の2D畳み込みネットワークの概念(可変カーネルサイズ、ストライド、拡張など)をサポートできます。多重解像度階層に基づいて、4つの面を1つに均一にマージするプーリングレイヤーと、1つの面を4つに分割するアップサンプリング方法を利用します。これにより、多くの一般的な2D CNNアーキテクチャを、3Dメッシュの処理に簡単に適合させることができます。任意の接続性を持つメッシュを再メッシュ化して、自己パラメータ化を介してループサブディビジョンシーケンス接続性を持たせることができるため、SubdivNetが一般的なアプローチになります。広範な評価とさまざまなアプリケーションにより、SubdivNetの有効性と効率が実証されています。
Convolutional neural networks (CNNs) have made great breakthroughs in 2D computer vision. However, their irregular structure makes it hard to harness the potential of CNNs directly on meshes. A subdivision surface provides a hierarchical multi-resolution structure, in which each face in a closed 2-manifold triangle mesh is exactly adjacent to three faces. Motivated by these two observations, this paper presents SubdivNet, an innovative and versatile CNN framework for 3D triangle meshes with Loop subdivision sequence connectivity. Making an analogy between mesh faces and pixels in a 2D image allows us to present a mesh convolution operator to aggregate local features from nearby faces. By exploiting face neighborhoods, this convolution can support standard 2D convolutional network concepts, e.g. variable kernel size, stride, and dilation. Based on the multi-resolution hierarchy, we make use of pooling layers which uniformly merge four faces into one and an upsampling method which splits one face into four. Thereby, many popular 2D CNN architectures can be easily adapted to process 3D meshes. Meshes with arbitrary connectivity can be remeshed to have Loop subdivision sequence connectivity via self-parameterization, making SubdivNet a general approach. Extensive evaluation and various applications demonstrate SubdivNet's effectiveness and efficiency.
updated: Wed Dec 29 2021 10:24:09 GMT+0000 (UTC)
published: Fri Jun 04 2021 06:50:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト