最近の暗黙的なニューラルレンダリング方法は、RGB画像のセットによってのみ監視される体積密度と色を予測することにより、複雑なシーンの正確なビュー合成を学習できることを示しています。ただし、既存の方法は、すべてのシーンオブジェクトを単一のニューラルネットワークにエンコードする静的シーンの効率的な表現の学習に制限されており、動的シーンと個々のシーンオブジェクトへの分解を表現する機能がありません。この作業では、動的シーンをシーングラフに分解する最初のニューラルレンダリング方法を紹介します。シーンの斬新な配置とビューを効率的にレンダリングするために、オブジェクトの変換と輝きをエンコードする学習済みシーングラフ表現を提案します。この目的のために、暗黙的にエンコードされたシーンを学習し、共同で学習した潜在表現と組み合わせて、単一の暗黙的な関数でオブジェクトを記述します。合成および実際の自動車データで提案された方法を評価し、私たちのアプローチが動的なシーンを学習することを検証します-このシーンのビデオを観察することによってのみ-そして、目に見えないオブジェクトのセットを持つ新しいシーン構成の新しい写実的なビューをレンダリングすることを可能にします見えないポーズ。
Recent implicit neural rendering methods have demonstrated that it is possible to learn accurate view synthesis for complex scenes by predicting their volumetric density and color supervised solely by a set of RGB images. However, existing methods are restricted to learning efficient representations of static scenes that encode all scene objects into a single neural network, and lack the ability to represent dynamic scenes and decompositions into individual scene objects. In this work, we present the first neural rendering method that decomposes dynamic scenes into scene graphs. We propose a learned scene graph representation, which encodes object transformation and radiance, to efficiently render novel arrangements and views of the scene. To this end, we learn implicitly encoded scenes, combined with a jointly learned latent representation to describe objects with a single implicit function. We assess the proposed method on synthetic and real automotive data, validating that our approach learns dynamic scenes -- only by observing a video of this scene -- and allows for rendering novel photo-realistic views of novel scene compositions with unseen sets of objects at unseen poses.