arXiv reaDer
フリーハンドスケッチからの3D形状再構成
3D Shape Reconstruction from Free-Hand Sketches
スケッチは、実世界のオブジェクトの最も抽象的な2D表現です。スケッチには通常、幾何学的な歪みがあり、視覚的な手がかりがありませんが、人間はスケッチから3Dオブジェクトを簡単に想像できます。これは、スケッチが3D形状の再構築に必要な情報をエンコードしていることを示唆しています。 CADやエッジマップなどの歪みのない線画からの3D再構築で大きな進歩が達成されたにもかかわらず、フリーハンドスケッチから3D形状を再構築するための努力はほとんど行われていません。このタスクを研究し、インタラクティブデザインやVR / ARゲームなどの3D関連アプリケーションでスケッチの力を強化することを目指しています。歪みのない線画を主に研究している以前の作品とは異なり、私たちの3D形状再構成はフリーハンドスケッチに基づいています。フリーハンドスケッチの3D再構成の主な課題は、不十分なトレーニングデータと、個別のスケッチスタイルなどのフリーハンドスケッチの多様性にあります。したがって、データ生成と標準化のメカニズムを提案します。歪みのない線画の代わりに、合成されたスケッチが入力トレーニングデータとして採用されます。さらに、さまざまなスケッチの歪みやスタイルを処理するためのスケッチ標準化モジュールを提案します。広範な実験により、モデルの有効性とさまざまなフリーハンドスケッチに対するその強力な一般化可能性が実証されています。私たちのコードはhttps://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketchesで公開されています。
Sketches are the most abstract 2D representations of real-world objects. Although a sketch usually has geometrical distortion and lacks visual cues, humans can effortlessly envision a 3D object from it. This suggests that sketches encode the information necessary for reconstructing 3D shapes. Despite great progress achieved in 3D reconstruction from distortion-free line drawings, such as CAD and edge maps, little effort has been made to reconstruct 3D shapes from free-hand sketches. We study this task and aim to enhance the power of sketches in 3D-related applications such as interactive design and VR/AR games. Unlike previous works, which mostly study distortion-free line drawings, our 3D shape reconstruction is based on free-hand sketches. A major challenge for free-hand sketch 3D reconstruction comes from the insufficient training data and free-hand sketch diversity, e.g. individualized sketching styles. We thus propose data generation and standardization mechanisms. Instead of distortion-free line drawings, synthesized sketches are adopted as input training data. Additionally, we propose a sketch standardization module to handle different sketch distortions and styles. Extensive experiments demonstrate the effectiveness of our model and its strong generalizability to various free-hand sketches. Our code is publicly available at https://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketches.
updated: Wed Jan 19 2022 03:35:23 GMT+0000 (UTC)
published: Wed Jun 17 2020 07:43:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト