3D 点群と 2D 画像は、物理世界の異なる視覚的表現です。人間の視覚は両方の表現を理解できますが、2D 画像と 3D 点群の理解のために設計されたコンピューター ビジョン モデルはまったく異なります。私たちの論文では、このアプローチが機能するかどうか、どの要因が転送パフォーマンスに影響を与えるか、どのようにさらに機能させるかを経験的に調査することにより、これら 2 つの表現間の転送可能性の可能性を調査します。私たちは、実際に同じニューラル ネットワーク モデル アーキテクチャを使用して、画像と点群の両方を理解できることを発見しました。さらに、最小限の労力で事前トレーニング済みの重みを画像モデルから点群モデルに転送できます。具体的には、画像データセットで事前トレーニングされた 2D ConvNet に基づいて、2D 畳み込みフィルターを 3D に拡張し、その入力、出力、およびオプションで正規化レイヤーを微調整することにより、画像モデルを点群モデルに転送できます。転送されたモデルは、3D ポイント クラウド分類、屋内および運転シーンのセグメンテーションで競争力のあるパフォーマンスを達成でき、タスク固有のアーキテクチャを採用し、さまざまなトリックを使用する幅広いポイント クラウド モデルを打ち負かすことさえできます。
3D point-clouds and 2D images are different visual representations of the physical world. While human vision can understand both representations, computer vision models designed for 2D image and 3D point-cloud understanding are quite different. Our paper investigates the potential for transferability between these two representations by empirically investigating whether this approach works, what factors affect the transfer performance, and how to make it work even better. We discovered that we can indeed use the same neural net model architectures to understand both images and point-clouds. Moreover, we can transfer pretrained weights from image models to point-cloud models with minimal effort. Specifically, based on a 2D ConvNet pretrained on an image dataset, we can transfer the image model to a point-cloud model by inflating 2D convolutional filters to 3D then finetuning its input, output, and optionally normalization layers. The transferred model can achieve competitive performance on 3D point-cloud classification, indoor and driving scene segmentation, even beating a wide range of point-cloud models that adopt task-specific architectures and use a variety of tricks.