arXiv reaDer
TriVol: トリプル ボリュームによるポイント クラウド レンダリング
TriVol: Point Cloud Rendering via Triple Volumes
点群レンダリングのための既存の学習ベースの方法は、点群のまばらな問題を軽減するために、さまざまな 3D 表現とフィーチャ クエリ メカニズムを採用しています。ただし、点群から連続的で識別可能な 3D フィーチャを抽出する際の課題により、レンダリングされたイメージには依然としてアーティファクトが表示されます。このホワイト ペーパーでは、TriVol と名付けられた高密度で軽量な 3D 表現を紹介します。これを NeRF と組み合わせて、点群から写真のようにリアルな画像をレンダリングできます。当社の TriVol は 3 つのスリム ボリュームで構成されており、それぞれが点群からエンコードされています。 TriVolには2つの利点があります。まず、それぞれのフィールドを異なるスケールで融合し、識別表現のためにローカルおよび非ローカルの特徴を抽出します。第 2 に、ボリューム サイズが大幅に縮小されるため、3D デコーダーを効率的に推論できるため、3D 空間の解像度を上げて、より多くの点の詳細をレンダリングできます。さまざまな種類のシーン/オブジェクトを使用したさまざまなベンチマークでの広範な実験により、現在のアプローチと比較してフレームワークの有効性が実証されています。さらに、フレームワークには、微調整なしでシーン/オブジェクトのカテゴリをレンダリングする優れた一般化機能があります。
Existing learning-based methods for point cloud rendering adopt various 3D representations and feature querying mechanisms to alleviate the sparsity problem of point clouds. However, artifacts still appear in rendered images, due to the challenges in extracting continuous and discriminative 3D features from point clouds. In this paper, we present a dense while lightweight 3D representation, named TriVol, that can be combined with NeRF to render photo-realistic images from point clouds. Our TriVol consists of triple slim volumes, each of which is encoded from the point cloud. TriVol has two advantages. First, it fuses respective fields at different scales and thus extracts local and non-local features for discriminative representation. Second, since the volume size is greatly reduced, our 3D decoder can be efficiently inferred, allowing us to increase the resolution of the 3D space to render more point details. Extensive experiments on different benchmarks with varying kinds of scenes/objects demonstrate our framework's effectiveness compared with current approaches. Moreover, our framework has excellent generalization ability to render a category of scenes/objects without fine-tuning.
updated: Wed Mar 29 2023 06:34:12 GMT+0000 (UTC)
published: Wed Mar 29 2023 06:34:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト