新しい計算写真効果である3Dモーメントを紹介します。入力として、人々の写真コレクションで一般的な、ほぼ重複した写真、つまり、同じような視点から動いている被写体の写真を撮ります。出力として、最初の写真から2番目の写真へのシーンの動きをスムーズに補間するビデオを作成すると同時に、視差のあるカメラの動きを作成して、3D感を高めます。この効果を実現するために、シーンを、シーンフローで拡張された特徴ベースのレイヤード深度画像のペアとして表現します。この表現により、カメラの視点を独立して制御しながらモーション補間が可能になります。私たちのシステムは、モーション視差とシーンダイナミクスを備えたフォトリアリスティックな時空ビデオを生成し、元のビューで遮られた領域をもっともらしく回復します。公開データセットや実際の写真のベースラインよりも優れたパフォーマンスを実証する広範な実験を実施します。プロジェクトページ:https://3d-moments.github.io/
We introduce 3D Moments, a new computational photography effect. As input we take a pair of near-duplicate photos, i.e., photos of moving subjects from similar viewpoints, common in people's photo collections. As output, we produce a video that smoothly interpolates the scene motion from the first photo to the second, while also producing camera motion with parallax that gives a heightened sense of 3D. To achieve this effect, we represent the scene as a pair of feature-based layered depth images augmented with scene flow. This representation enables motion interpolation along with independent control of the camera viewpoint. Our system produces photorealistic space-time videos with motion parallax and scene dynamics, while plausibly recovering regions occluded in the original views. We conduct extensive experiments demonstrating superior performance over baselines on public datasets and in-the-wild photos. Project page: https://3d-moments.github.io/