arXiv reaDer
Neural Implicit Representations for Physical Parameter Inference from a Single Video
ニューラルネットワークは、最近、多様な物理システムを分析し、基礎となるダイナミクスを特定するために使用されています。既存の方法は印象的な結果を達成しますが、トレーニングデータに対する強い需要と、配布されていないデータに対する弱い一般化能力によって制限されます。これらの制限を克服するために、この作業では、外観モデリング用のニューラル暗黙表現と物理現象をモデリングするためのニューラル通常微分方程式(ODE)を組み合わせて、視覚的観察から直接識別できる動的シーン表現を取得することを提案します。私たちが提案するモデルは、いくつかの独自の利点を組み合わせています。(i)大規模なトレーニングデータセットを必要とする既存のアプローチとは異なり、単一のビデオからのみ物理パラメータを特定できます。 (ii)ニューラル暗黙表現を使用すると、高解像度ビデオの処理と写真のようにリアルな画像の合成が可能になります。 (iii)埋め込まれたニューラルODEには、解釈可能な物理パラメータの識別を可能にする既知のパラメトリック形式があり、(iv)状態空間での長期予測が可能です。 (v)さらに、物理パラメータが変更された新しいシーンのフォトリアリスティックレンダリングが可能になります。
Neural networks have recently been used to analyze diverse physical systems and to identify the underlying dynamics. While existing methods achieve impressive results, they are limited by their strong demand for training data and their weak generalization abilities to out-of-distribution data. To overcome these limitations, in this work we propose to combine neural implicit representations for appearance modeling with neural ordinary differential equations (ODEs) for modelling physical phenomena to obtain a dynamic scene representation that can be identified directly from visual observations. Our proposed model combines several unique advantages: (i) Contrary to existing approaches that require large training datasets, we are able to identify physical parameters from only a single video. (ii) The use of neural implicit representations enables the processing of high-resolution videos and the synthesis of photo-realistic images. (iii) The embedded neural ODE has a known parametric form that allows for the identification of interpretable physical parameters, and (iv) long-term prediction in state space. (v) Furthermore, the photo-realistic rendering of novel scenes with modified physical parameters becomes possible.
updated: Tue Apr 02 2024 13:24:37 GMT+0000 (UTC)
published: Fri Apr 29 2022 11:55:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト