arXiv reaDer
サブディビジョンベースのメッシュ畳み込みネットワーク
Subdivision-Based Mesh Convolution Networks
畳み込みニューラル ネットワーク (CNN) は、2D コンピューター ビジョンに大きなブレークスルーをもたらしました。ただし、メッシュの不規則な構造により、CNN の力を直接活用することが難しくなります。サブディビジョン サーフェスは階層的な多重解像度構造を提供し、閉じた 2 多様体三角形メッシュの各面は 3 つの面に正確に隣接しています。この 2 つの特性に動機付けられて、このペーパーでは、ループ サブディビジョン シーケンス接続を備えた 3D 三角形メッシュ用の、SubdivNet という名前の新しい柔軟な CNN フレームワークを紹介します。 2D 画像内のメッシュの面とピクセルを類推することで、メッシュの畳み込み演算子を提示して、隣接する面から局所的な特徴を集約することができます。この畳み込みは、顔の近傍を利用することで、標準の 2D 畳み込みネットワークの概念 (可変カーネル サイズ、ストライド、膨張など) をサポートできます。多重解像度階層に基づいて、4 つの面を 1 つにマージする空間均一プーリング層と、1 つの面を 4 つに分割するアップサンプリング方法を提案します。その結果、多くの一般的な 2D CNN アーキテクチャを 3D メッシュの処理に容易に適応させることができます。任意の接続性を持つメッシュは、自己パラメータ化を介してループ サブディビジョン シーケンスの接続性を保持するためにリメッシュでき、SubdivNet が一般的なアプローチになります。メッシュの分類、セグメンテーション、対応、および現実世界からの取得に関する実験は、SubdivNet の有効性と効率を示しています。
Convolutional neural networks (CNNs) have made great breakthroughs in 2D computer vision. However, the irregular structure of meshes makes it hard to exploit the power of CNNs directly. A subdivision surface provides a hierarchical multi-resolution structure, and each face in a closed 2-manifold triangle mesh is exactly adjacent to three faces. Motivated by these two properties, this paper introduces a novel and flexible CNN framework, named SubdivNet, for 3D triangle meshes with Loop subdivision sequence connectivity. Making an analogy between mesh faces and pixels in a 2D image allows us to present a mesh convolution operator to aggregate local features from adjacent faces. By exploiting face neighborhoods, this convolution can support standard 2D convolutional network concepts, e.g. variable kernel size, stride, and dilation. Based on the multi-resolution hierarchy, we propose a spatial uniform pooling layer which merges four faces into one and an upsampling method which splits one face into four. As a result, many popular 2D CNN architectures can be readily adapted to processing 3D meshes. Meshes with arbitrary connectivity can be remeshed to hold Loop subdivision sequence connectivity via self-parameterization, making SubdivNet a general approach. Experiments on mesh classification, segmentation, correspondence, and retrieval from the real-world demonstrate the effectiveness and efficiency of SubdivNet.
updated: Fri Jun 04 2021 06:50:34 GMT+0000 (UTC)
published: Fri Jun 04 2021 06:50:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト