arXiv reaDer
BACON:マルチスケールシーン表現のための帯域制限された座標ネットワーク
BACON: Band-limited Coordinate Networks for Multiscale Scene Representation
座標ベースのネットワークは、3D表現とシーン再構築のための強力なツールとして登場しました。これらのネットワークは、連続入力座標を各ポイントの信号の値にマッピングするようにトレーニングされています。それでも、現在のアーキテクチャはブラックボックスです。スペクトル特性を簡単に分析することはできず、監視されていないポイントでの動作を予測することは困難です。さらに、これらのネットワークは通常、単一のスケールで信号を表すようにトレーニングされているため、ナイーブなダウンサンプリングまたはアップサンプリングはアーティファクトをもたらします。分析的フーリエスペクトルを備えたネットワークアーキテクチャである帯域制限座標ネットワーク(BACON)を紹介します。 BACONは、監視されていないポイントで予測可能な動作を行い、表現された信号のスペクトル特性に基づいて設計でき、明示的な監視なしで複数のスケールで信号を表現できます。符号付き距離関数を使用した画像、放射輝度フィールド、および3Dシーンのマルチスケールニューラル表現のBACONを示し、解釈可能性と品質の点で従来のシングルスケール座標ネットワークよりも優れていることを示します。
Coordinate-based networks have emerged as a powerful tool for 3D representation and scene reconstruction. These networks are trained to map continuous input coordinates to the value of a signal at each point. Still, current architectures are black boxes: their spectral characteristics cannot be easily analyzed, and their behavior at unsupervised points is difficult to predict. Moreover, these networks are typically trained to represent a signal at a single scale, and so naive downsampling or upsampling results in artifacts. We introduce band-limited coordinate networks (BACON), a network architecture with an analytical Fourier spectrum. BACON has predictable behavior at unsupervised points, can be designed based on the spectral characteristics of the represented signal, and can represent signals at multiple scales without explicit supervision. We demonstrate BACON for multiscale neural representation of images, radiance fields, and 3D scenes using signed distance functions and show that it outperforms conventional single-scale coordinate networks in terms of interpretability and quality.
updated: Thu Dec 09 2021 01:17:48 GMT+0000 (UTC)
published: Thu Dec 09 2021 01:17:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト