ニューラル表現は、センサーデータから学習でき、データのクリーンアップ、モデルの完成、形状の編集、および形状の合成に使用できるため、形状の表現に人気があります。現在のニューラル表現は、単一のオブジェクトインスタンスへの過剰適合、またはオブジェクトのコレクションの表現のいずれかに分類できます。ただし、どちらもニューラルシーン表現の正確な編集を許可しません。一方で、オブジェクトをオーバーフィットするメソッドは、非常に正確な再構成を実現しますが、見えないオブジェクト構成に一般化しないため、編集をサポートできません。一方、バリエーションのあるオブジェクトのファミリを表すメソッドは一般化されますが、おおよその再構成しか生成されません。 NEUFORMは、各形状領域に最も適切なものを適応的に使用することにより、過剰適合表現と一般化可能表現の両方の利点を組み合わせるよう提案します。信頼できるデータが利用できる過剰適合表現と、その他の一般化可能表現です。これは、慎重に設計されたアーキテクチャと、2つの表現のネットワークの重みをブレンドし、継ぎ目やその他のアーティファクトを回避するアプローチによって実現されます。セマンティックの整合性と過剰適合形状表現の精度を維持しながら、椅子、テーブル、ランプなど、人間が設計した形状の一部を正常に再構成する編集を示します。 2つの最先端の競合他社と比較し、結果として得られる編集の妥当性と忠実度の点で明確な改善を示しています。
Neural representations are popular for representing shapes, as they can be learned form sensor data and used for data cleanup, model completion, shape editing, and shape synthesis. Current neural representations can be categorized as either overfitting to a single object instance, or representing a collection of objects. However, neither allows accurate editing of neural scene representations: on the one hand, methods that overfit objects achieve highly accurate reconstructions, but do not generalize to unseen object configurations and thus cannot support editing; on the other hand, methods that represent a family of objects with variations do generalize but produce only approximate reconstructions. We propose NEUFORM to combine the advantages of both overfitted and generalizable representations by adaptively using the one most appropriate for each shape region: the overfitted representation where reliable data is available, and the generalizable representation everywhere else. We achieve this with a carefully designed architecture and an approach that blends the network weights of the two representations, avoiding seams and other artifacts. We demonstrate edits that successfully reconfigure parts of human-designed shapes, such as chairs, tables, and lamps, while preserving semantic integrity and the accuracy of an overfitted shape representation. We compare with two state-of-the-art competitors and demonstrate clear improvements in terms of plausibility and fidelity of the resultant edits.