arXiv reaDer
スケッチベースの 3D 形状検索のための不確実性を認識したクロスモーダル転送ネットワーク
Uncertainty-Aware Cross-Modal Transfer Network for Sketch-Based 3D Shape Retrieval
近年、スケッチベースの3D形状検索が注目を集めています。これまでの研究の多くは、手描きのスケッチと 3D 形状の間のクロスモーダル マッチングに焦点を当ててきましたが、スケッチ データ内の低品質でノイズの多いサンプルをどのように処理するかという重要な問題はほとんど無視されてきました。この文書では、この問題に対処する不確実性を考慮したクロスモーダル転送ネットワーク (UACTN) について説明します。 UACTN は、スケッチと 3D 形状の表現学習を、分類ベースのスケッチ不確実性学習と 3D 形状特徴伝達という 2 つの別個のタスクに分離します。まず、スケッチの特徴と不確実性を同時に学習するエンドツーエンドの分類ベースのアプローチを導入します。これにより、きれいなスケッチとノイズの多いスケッチに異なるレベルの重要性を割り当てることで、不確実性がノイズの多いスケッチのオーバーフィッティングを防ぐことができます。次に、3D 形状フィーチャが、フィーチャの位置合わせのために事前に学習されたスケッチ埋め込み空間にマッピングされます。 2 つのベンチマークに関する広範な実験とアブレーション研究により、最先端の方法と比較して、私たちが提案する方法の優位性が実証されています。
In recent years, sketch-based 3D shape retrieval has attracted growing attention. While many previous studies have focused on cross-modal matching between hand-drawn sketches and 3D shapes, the critical issue of how to handle low-quality and noisy samples in sketch data has been largely neglected. This paper presents an uncertainty-aware cross-modal transfer network (UACTN) that addresses this issue. UACTN decouples the representation learning of sketches and 3D shapes into two separate tasks: classification-based sketch uncertainty learning and 3D shape feature transfer. We first introduce an end-to-end classification-based approach that simultaneously learns sketch features and uncertainty, allowing uncertainty to prevent overfitting noisy sketches by assigning different levels of importance to clean and noisy sketches. Then, 3D shape features are mapped into the pre-learned sketch embedding space for feature alignment. Extensive experiments and ablation studies on two benchmarks demonstrate the superiority of our proposed method compared to state-of-the-art methods.
updated: Fri Aug 11 2023 05:46:52 GMT+0000 (UTC)
published: Fri Aug 11 2023 05:46:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト