arXiv reaDer
Uni-Fusion: ユニバーサル連続マッピング
Uni-Fusion: Universal Continuous Mapping
私たちは、表面、表面特性 (色、赤外線など) およびその他 (CLIP 埋め込み空間の潜在的な特徴など) のための普遍的な連続マッピング フレームワークである Uni-Fusion を紹介します。私たちは、トレーニングを必要とせずに、ジオメトリとさまざまなタイプのプロパティ (RGB、赤外線、特徴など) の両方のエンコードをサポートする、最初の汎用暗黙的エンコード モデルを提案します。これに基づいて、私たちのフレームワークは点群を通常のグリッド ボクセルに分割し、各ボクセルに潜在フィーチャを生成して、ジオメトリと任意のプロパティの潜在暗黙マップ (LIM) を形成します。次に、ローカル LIM をフレーム単位でグローバル LIM に融合することにより、増分再構築が実現されます。対応するタイプのデータでエンコードされた潜在暗黙マップは、連続サーフェス、サーフェス プロパティ フィールド、サーフェス フィーチャ フィールド、およびその他すべての可能なオプションを生成できます。私たちのモデルの機能を実証するために、次の 3 つのアプリケーションを実装します: (1) 表面と色の増分再構成 (2) 加工されたプロパティの 2D から 3D への転送 (3) テキスト CLIP 特徴フィールドを作成することによる、オープンな語彙シーンの理解表面。 Uni-Fusion は、対応するアプリケーションで比較することで評価され、Uni-Fusion はさまざまなアプリケーションで高い柔軟性を示しながら最高のパフォーマンスを発揮するか、競争力を発揮します。 Uni-Fusion のプロジェクト ページは https://jarrome.github.io/Uni-Fusion/ で入手できます。
We present Uni-Fusion, a universal continuous mapping framework for surfaces, surface properties (color, infrared, etc.) and more (latent features in CLIP embedding space, etc.). We propose the first universal implicit encoding model that supports encoding of both geometry and different types of properties (RGB, infrared, features, etc.) without requiring any training. Based on this, our framework divides the point cloud into regular grid voxels and generates a latent feature in each voxel to form a Latent Implicit Map (LIM) for geometries and arbitrary properties. Then, by fusing a local LIM frame-wisely into a global LIM, an incremental reconstruction is achieved. Encoded with corresponding types of data, our Latent Implicit Map is capable of generating continuous surfaces, surface property fields, surface feature fields, and all other possible options. To demonstrate the capabilities of our model, we implement three applications: (1) incremental reconstruction for surfaces and color (2) 2D-to-3D transfer of fabricated properties (3) open-vocabulary scene understanding by creating a text CLIP feature field on surfaces. We evaluate Uni-Fusion by comparing it in corresponding applications, from which Uni-Fusion shows high-flexibility in various applications while performing best or being competitive. The project page of Uni-Fusion is available at https://jarrome.github.io/Uni-Fusion/ .
updated: Thu Aug 03 2023 12:49:58 GMT+0000 (UTC)
published: Wed Mar 22 2023 16:21:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト