ビデオまたは画像のコレクションからの剛構造の3D再構成において目覚ましい進歩が見られました。ただし、その制約が不十分な性質のため、RGB入力から非剛体構造を再構築することは依然として困難です。パラメトリック形状モデルなどのテンプレートベースのアプローチは、既知のオブジェクトカテゴリの「閉じた世界」のモデリングに大きな成功を収めましたが、新しいオブジェクトカテゴリや外れ値の形状の「開いた世界」をうまく処理することはできません。この作品では、単一のビデオから3D形状を学習するためのテンプレートフリーのアプローチを紹介します。オブジェクトのシルエット、オプティカルフロー、ピクセル値を順方向にレンダリングしてビデオ観測と比較する合成による分析戦略を採用し、カメラ、形状、モーションパラメータを調整するための勾配を生成します。カテゴリ固有の形状テンプレートを使用せずに、私たちの方法は、人間、動物、および未知のクラスのオブジェクトのビデオから非剛体の3D構造を忠実に再構築します。コードはlasr-google.github.ioで入手できます。
Remarkable progress has been made in 3D reconstruction of rigid structures from a video or a collection of images. However, it is still challenging to reconstruct nonrigid structures from RGB inputs, due to its under-constrained nature. While template-based approaches, such as parametric shape models, have achieved great success in modeling the "closed world" of known object categories, they cannot well handle the "open-world" of novel object categories or outlier shapes. In this work, we introduce a template-free approach to learn 3D shapes from a single video. It adopts an analysis-by-synthesis strategy that forward-renders object silhouette, optical flow, and pixel values to compare with video observations, which generates gradients to adjust the camera, shape and motion parameters. Without using a category-specific shape template, our method faithfully reconstructs nonrigid 3D structures from videos of human, animals, and objects of unknown classes. Code will be available at lasr-google.github.io .