arXiv reaDer
マルチビュー線画に関する自己監視空間推論
Self-supervised Spatial Reasoning on Multi-View Line Drawings
最先端の監視されたディープネットワークによるマルチビュー線画の空間的推論は、最近、SPARE3Dデータセットの不可解な低パフォーマンスで示されています。多数のデータが利用可能な場合に自己監視学習が役立つという事実に基づいて、SPARE3Dデータセットのビュー一貫性推論およびカメラポーズ推論タスクのベースラインパフォーマンスを改善するために、2つの自己監視学習アプローチを提案します。最初のタスクでは、自己監視型の二項分類ネットワークを使用して、任意の2つの類似した3Dオブジェクトのさまざまなビュー間の線画の違いを対比し、トレーニングを受けたネットワークが3Dオブジェクトの詳細に敏感でありながらビューに依存しない線画表現を効果的に学習できるようにします。 。 2番目のタイプのタスクでは、線画がレンダリングされる正しい対応するビューを選択するようにモデルをトレーニングするための自己監視型マルチクラス分類フレームワークを提案します。私たちの方法は、カメラのポーズが見えないダウンストリームタスクにも役立ちます。実験によると、私たちの方法はSPARE3Dのベースラインパフォーマンスを大幅に向上させることができますが、一部の一般的な自己監視学習方法では向上しません。
Spatial reasoning on multi-view line drawings by state-of-the-art supervised deep networks is recently shown with puzzling low performances on the SPARE3D dataset. Based on the fact that self-supervised learning is helpful when a large number of data are available, we propose two self-supervised learning approaches to improve the baseline performance for view consistency reasoning and camera pose reasoning tasks on the SPARE3D dataset. For the first task, we use a self-supervised binary classification network to contrast the line drawing differences between various views of any two similar 3D objects, enabling the trained networks to effectively learn detail-sensitive yet view-invariant line drawing representations of 3D objects. For the second type of task, we propose a self-supervised multi-class classification framework to train a model to select the correct corresponding view from which a line drawing is rendered. Our method is even helpful for the downstream tasks with unseen camera poses. Experiments show that our method could significantly increase the baseline performance in SPARE3D, while some popular self-supervised learning methods cannot.
updated: Mon May 16 2022 02:47:32 GMT+0000 (UTC)
published: Tue Apr 27 2021 19:05:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト