arXiv reaDer
変形可能な形状分析のための一般化可能な局所特徴の事前トレーニング
Generalizable Local Feature Pre-training for Deformable Shape Analysis
転移学習は、訓練データがほとんどない設定で問題に対処するための基本です。 3D ではいくつかの転移学習アプローチが提案されていますが、残念ながら、これらのソリューションは通常、3D オブジェクト全体またはシーンレベルでさえも動作するため、ここで示すように、変形可能な有機形状などの新しいクラスに一般化できません。さらに、現在、事前トレーニング済みの機能を大幅に異なる 3D 形状カテゴリ間で転送可能にする理由についての理解が不足しています。この論文では、これらの課題に対処するための一歩を踏み出します。最初に、変形可能な 3D オブジェクトを含むタスクにおける特徴の局所性と転送可能性の間のリンクを分析すると同時に、局所特徴の事前トレーニングのさまざまなバックボーンと損失を比較します。適切なトレーニングがあれば、学習した機能はそのようなタスクで役立つ可能性がありますが、重要なのは、受容野サイズを適切に選択した場合に限られることです。次に、3D転移学習内で受容野を最適化するための微分可能な方法を提案します。共同で、これは、人間や動物などの目に見えないクラスの 3D 形状に正常に一般化できる最初の学習可能な機能につながります。私たちの広範な実験は、このアプローチがセグメンテーション、形状対応、分類などのいくつかのダウンストリーム タスクで最先端の結果につながることを示しています。コードは https://github.com/pvnieo/vader で入手できます。
Transfer learning is fundamental for addressing problems in settings with little training data. While several transfer learning approaches have been proposed in 3D, unfortunately, these solutions typically operate on an entire 3D object or even scene-level and thus, as we show, fail to generalize to new classes, such as deformable organic shapes. In addition, there is currently a lack of understanding of what makes pre-trained features transferable across significantly different 3D shape categories. In this paper, we make a step toward addressing these challenges. First, we analyze the link between feature locality and transferability in tasks involving deformable 3D objects, while also comparing different backbones and losses for local feature pre-training. We observe that with proper training, learned features can be useful in such tasks, but, crucially, only with an appropriate choice of the receptive field size. We then propose a differentiable method for optimizing the receptive field within 3D transfer learning. Jointly, this leads to the first learnable features that can successfully generalize to unseen classes of 3D shapes such as humans and animals. Our extensive experiments show that this approach leads to state-of-the-art results on several downstream tasks such as segmentation, shape correspondence, and classification. Our code is available at https://github.com/pvnieo/vader.
updated: Mon Mar 27 2023 11:13:46 GMT+0000 (UTC)
published: Mon Mar 27 2023 11:13:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト