arXiv reaDer
シャドウアートの再考:差別化可能なレンダリングベースのアプローチ
Shadow Art Revisited: A Differentiable Rendering Based Approach
最近の学習ベースの方法は、いくつかの視覚関連のアプリケーションに優れていることが観察されていますが、芸術的効果を生み出す可能性についてはあまり検討されていません。そのような興味深いアプリケーションの1つがシャドウアートです。これは、3D彫刻によって投影された2Dシャドウが芸術的な効果を生み出すユニークな形の彫刻アートです。この作業では、微分可能なレンダリングベースの最適化フレームワークを使用してシャドウアートを再検討し、一連のシャドウ(バイナリ)画像とそれに対応する投影情報から3D彫刻を取得します。具体的には、ボクセルとメッシュベースの微分可能レンダラーによる形状最適化について説明します。シャドウアートの彫刻を生成するために微分可能なレンダリングを使用するという私たちの選択は、画像データのみから基礎となる3Dジオメトリを学習し、3Dグラウンドトゥルースへの依存を減らす能力に起因する可能性があります。定性的および定量的な結果は、入力として影の画像のセットだけを使用して、現代アート作品に見られるものを超える複雑な3D彫刻を生成する際の提案されたフレームワークの可能性を示しています。さらに、顔の影を落とすための3D彫刻の生成、アニメーション化された映画のキャラクター、および基礎となる形状のスケッチベースの3D再構築へのフレームワークの適用性を示します。
While recent learning based methods have been observed to be superior for several vision-related applications, their potential in generating artistic effects has not been explored much. One such interesting application is Shadow Art - a unique form of sculptural art where 2D shadows cast by a 3D sculpture produce artistic effects. In this work, we revisit shadow art using differentiable rendering based optimization frameworks to obtain the 3D sculpture from a set of shadow (binary) images and their corresponding projection information. Specifically, we discuss shape optimization through voxel as well as mesh-based differentiable renderers. Our choice of using differentiable rendering for generating shadow art sculptures can be attributed to its ability to learn the underlying 3D geometry solely from image data, thus reducing the dependence on 3D ground truth. The qualitative and quantitative results demonstrate the potential of the proposed framework in generating complex 3D sculptures that go beyond those seen in contemporary art pieces using just a set of shadow images as input. Further, we demonstrate the generation of 3D sculptures to cast shadows of faces, animated movie characters, and applicability of the framework to sketch-based 3D reconstruction of underlying shapes.
updated: Fri Jul 30 2021 10:43:48 GMT+0000 (UTC)
published: Fri Jul 30 2021 10:43:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト