無料のオンライン 3D 形状コレクションの増加により、3D 検索に関する研究が必要になりました。ただし、(i)検索をトリガーするための最良の入力モダリティは何か、および(ii)そのような検索の最終的な使用シナリオについては、活発な議論が行われてきました。このホワイト ペーパーでは、これらの質問に答えるために別の視点を提供します。入力モダリティとしての 3D スケッチの使用を研究し、検索が行われる VR シナリオを提唱します。したがって、最終的なビジョンは、ユーザーが VR 環境で空中落書きを行うことで 3D モデルを自由に取得できるようにすることです。この新しい 3D VR スケッチから 3D 形状検索問題への最初の試みとして、4 つの貢献を行います。まず、VR ユーティリティをコーディングして、3D VR スケッチを収集し、検索を実行します。次に、ModelNet から 2 つの形状カテゴリに関する 167 の 3D VR スケッチの最初のセットを収集します。 3 番目に、ディープ ネットワークをトレーニングするために、さまざまな抽象レベルの人間のような 3D スケッチの合成データセットを生成する新しいアプローチを提案します。最後に、一般的なマルチビューとボリューム アプローチを比較します。3D 形状から 3D 形状への検索とは対照的に、ボリューム ポイント ベースのアプローチは、まばらで抽象的な性質により、3D スケッチから 3D 形状への検索で優れたパフォーマンスを発揮することを示します。 3D VR スケッチの。これらの貢献は、この問題に対する将来の試みのイネーブラーとして機能すると信じています。 VR インターフェイス、コード、およびデータセットは、https://tinyurl.com/3DSketch3DV で入手できます。
Growing free online 3D shapes collections dictated research on 3D retrieval. Active debate has however been had on (i) what the best input modality is to trigger retrieval, and (ii) the ultimate usage scenario for such retrieval. In this paper, we offer a different perspective towards answering these questions -- we study the use of 3D sketches as an input modality and advocate a VR-scenario where retrieval is conducted. Thus, the ultimate vision is that users can freely retrieve a 3D model by air-doodling in a VR environment. As a first stab at this new 3D VR-sketch to 3D shape retrieval problem, we make four contributions. First, we code a VR utility to collect 3D VR-sketches and conduct retrieval. Second, we collect the first set of 167 3D VR-sketches on two shape categories from ModelNet. Third, we propose a novel approach to generate a synthetic dataset of human-like 3D sketches of different abstract levels to train deep networks. At last, we compare the common multi-view and volumetric approaches: We show that, in contrast to 3D shape to 3D shape retrieval, volumetric point-based approaches exhibit superior performance on 3D sketch to 3D shape retrieval due to the sparse and abstract nature of 3D VR-sketches. We believe these contributions will collectively serve as enablers for future attempts at this problem. The VR interface, code and datasets are available at https://tinyurl.com/3DSketch3DV.