arXiv reaDer
ぼかしからの形状:高速で移動するオブジェクトのテクスチャ3D形状とモーションの復元
Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects
単一のモーションブラー画像からオブジェクトの3D形状、テクスチャ、およびモーションを共同で再構築するという新しいタスクに取り組みます。以前のアプローチは2D画像ドメインでのみぼけ除去の問題に対処していましたが、3Dドメインのすべてのオブジェクトプロパティの提案された厳密なモデリングにより、任意のオブジェクトの動きを正しく記述することができます。これにより、画像の分解が大幅に改善され、ブレ除去の結果がより鮮明になります。モーションブラーされたオブジェクトの観察された外観を、背景と一定の平行移動と回転を伴う3Dオブジェクトの組み合わせとしてモデル化します。私たちの方法は、適切なレギュラライザーを使用した微分可能なレンダリングを介して入力画像を再構成する際の損失を最小限に抑えます。これにより、ぼやけたオブジェクトのテクスチャ3Dメッシュを忠実に推定できます。私たちの方法は、動きの速いオブジェクトのブレ除去に関するいくつかのベンチマークで、競合するアプローチを大幅に上回っています。定性的な結果は、再構築された3Dメッシュが、ぼけのないオブジェクトの高品質な時間的超解像と斬新なビューを生成することを示しています。
We address the novel task of jointly reconstructing the 3D shape, texture, and motion of an object from a single motion-blurred image. While previous approaches address the deblurring problem only in the 2D image domain, our proposed rigorous modeling of all object properties in the 3D domain enables the correct description of arbitrary object motion. This leads to significantly better image decomposition and sharper deblurring results. We model the observed appearance of a motion-blurred object as a combination of the background and a 3D object with constant translation and rotation. Our method minimizes a loss on reconstructing the input image via differentiable rendering with suitable regularizers. This enables estimating the textured 3D mesh of the blurred object with high fidelity. Our method substantially outperforms competing approaches on several benchmarks for fast moving objects deblurring. Qualitative results show that the reconstructed 3D mesh generates high-quality temporal super-resolution and novel views of the deblurred object.
updated: Wed Jun 16 2021 13:18:08 GMT+0000 (UTC)
published: Wed Jun 16 2021 13:18:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト