大規模なラベル付きデータセットがないため、ほとんどの3Dニューラルネットワークは最初からトレーニングされています。この論文では、豊富な2Dデータセットから学習した2Dネットワークを活用することにより、新しい3D事前トレーニング方法を紹介します。ピクセルレベルとポイントレベルの特徴を同じ埋め込み空間にマッピングすることにより、2D情報を効果的に利用するために、対照的なピクセルからポイントへの知識の伝達を提案します。 2Dネットワークと3Dネットワークは不均一であるため、2Dと3Dの間でフィーチャを位置合わせして転送を可能にする、逆投影機能を導入します。さらに、高レベルの2D特徴マップの空間解像度を高めるためにアップサンプリング特徴投影レイヤーを考案します。これは、きめ細かい3D表現の学習に役立ちます。事前トレーニングされた2Dネットワークを使用すると、提案された事前トレーニングプロセスでは、追加の2Dまたは3Dラベル付きデータが不要になり、膨大な3Dデータ注釈コストがさらに軽減されます。私たちの知る限り、既存の2Dトレーニング済みウェイトを利用して3Dディープニューラルネットワークを事前トレーニングするのは私たちが初めてです。私たちの集中的な実験は、2Dの知識で事前にトレーニングされた3Dモデルが、さまざまな実際の3Dダウンストリームタスク全体のパフォーマンスを向上させることを示しています。
Most 3D neural networks are trained from scratch owing to the lack of large-scale labeled datasets. In this paper, we present a novel 3D pretraining method by leveraging 2D networks learned from rich 2D datasets. We propose the contrastive pixel-to-point knowledge transfer to effectively utilize the 2D information by mapping the pixel-level and point-level features into the same embedding space. Due to the heterogeneous nature between 2D and 3D networks, we introduce the back-projection function to align the features between 2D and 3D to make the transfer possible. Additionally, we devise an upsampling feature projection layer to increase the spatial resolution of high-level 2D feature maps, which helps learning fine-grained 3D representations. With a pretrained 2D network, the proposed pretraining process requires no additional 2D or 3D labeled data, further alleviating the expansive 3D data annotation cost. To the best of our knowledge, we are the first to exploit existing 2D trained weights to pretrain 3D deep neural networks. Our intensive experiments show that the 3D models pretrained with 2D knowledge boost the performances across various real-world 3D downstream tasks.