ニューラルカーネルフィールドを提示します。これは、学習したカーネルリッジ回帰に基づいて暗黙的な3D形状を再構築するための新しい方法です。私たちの手法は、スパース指向のポイントから3Dオブジェクトや大きなシーンを再構築するときに最先端の結果を達成し、精度をほとんど低下させることなく、トレーニングセット外の形状カテゴリを再構築できます。私たちのアプローチの核となる洞察は、選択したカーネルに適切な誘導バイアスがある場合、カーネル法が形状の再構築に非常に効果的であるということです。したがって、形状再構成の問題を2つの部分に分解します。(1)データからカーネルパラメーターを学習するバックボーンニューラルネットワーク、および(2)単純な正定値を解くことによって入力ポイントをオンザフライで近似するカーネルリッジ回帰学習したカーネルを使用した線形システム。この因数分解の結果として、入力サンプリング密度が増加するにつれてグラウンドトゥルース形状に収束する補間動作を維持しながら、スパースポイント密度の下でデータ駆動型メソッドの利点を再構築します。私たちの実験は、列車セットのカテゴリ外のオブジェクトとスキャンされたシーンに対する強力な一般化機能を示しています。ソースコードと事前トレーニング済みモデルは、https://nv-tlabs.github.io/nkfで入手できます。
We present Neural Kernel Fields: a novel method for reconstructing implicit 3D shapes based on a learned kernel ridge regression. Our technique achieves state-of-the-art results when reconstructing 3D objects and large scenes from sparse oriented points, and can reconstruct shape categories outside the training set with almost no drop in accuracy. The core insight of our approach is that kernel methods are extremely effective for reconstructing shapes when the chosen kernel has an appropriate inductive bias. We thus factor the problem of shape reconstruction into two parts: (1) a backbone neural network which learns kernel parameters from data, and (2) a kernel ridge regression that fits the input points on-the-fly by solving a simple positive definite linear system using the learned kernel. As a result of this factorization, our reconstruction gains the benefits of data-driven methods under sparse point density while maintaining interpolatory behavior, which converges to the ground truth shape as input sampling density increases. Our experiments demonstrate a strong generalization capability to objects outside the train-set category and scanned scenes. Source code and pretrained models are available at https://nv-tlabs.github.io/nkf.