arXiv reaDer
神経関節放射輝度フィールド
Neural Articulated Radiance Field
画像から学習した関節オブジェクトの新しい変形可能な3D表現であるNeuralArticulated Radiance Field(NARF)を紹介します。 3D陰的表現の最近の進歩により、複雑なオブジェクトのモデルを学習できるようになりましたが、現在の方法では3D形状の監視が必要であり、外観をレンダリングできないため、関節オブジェクトのポーズ制御可能な表現を学習することは依然として課題です。 3D関節オブジェクトの陰的表現を定式化する際に、私たちの方法は、各3D位置での放射フィールドを解く際に、最も関連性のあるオブジェクト部分の剛体変換のみを考慮します。このように、提案された方法は、計算の複雑さを大幅に増加させることなく、ポーズに依存する変化を表します。 NARFは完全に微分可能であり、ポーズ注釈付きの画像からトレーニングできます。さらに、オートエンコーダを使用することで、オブジェクトクラスの複数のインスタンスにわたる外観の変化を学習できます。実験は、提案された方法が効率的であり、新しいポーズにうまく一般化できることを示しています。このコードは、https://github.com/nogu-atsu/NARFで調査目的で入手できます。
We present Neural Articulated Radiance Field (NARF), a novel deformable 3D representation for articulated objects learned from images. While recent advances in 3D implicit representation have made it possible to learn models of complex objects, learning pose-controllable representations of articulated objects remains a challenge, as current methods require 3D shape supervision and are unable to render appearance. In formulating an implicit representation of 3D articulated objects, our method considers only the rigid transformation of the most relevant object part in solving for the radiance field at each 3D location. In this way, the proposed method represents pose-dependent changes without significantly increasing the computational complexity. NARF is fully differentiable and can be trained from images with pose annotations. Moreover, through the use of an autoencoder, it can learn appearance variations over multiple instances of an object class. Experiments show that the proposed method is efficient and can generalize well to novel poses. The code is available for research purposes at https://github.com/nogu-atsu/NARF
updated: Wed Aug 18 2021 14:33:05 GMT+0000 (UTC)
published: Wed Apr 07 2021 13:23:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト