arXiv reaDer
固有の動的形状事前分布は、時間的にばらばらの剛性を検出して、モーションからの高速でシーケンシャルで高密度の非剛性構造を実現
Intrinsic Dynamic Shape Prior for Fast, Sequential and Dense Non-Rigid Structure from Motion with Detection of Temporally-Disjoint Rigidity
運動からの密な非剛体構造(NRSfM)は、近年、再構築可能性の問題の観点から広く研究されてきましたが、それを実用的な領域に取り入れようとする試みはほとんど行われていません。普及が遅い理由は、深刻な不適切さ、動きと変形の手がかりに対する高い感度、そして実際のシナリオの大部分で信頼できるポイントトラックを取得することが難しいことです。このギャップを埋めるために、NRSfMを使用して入力シーケンスから以前の形状知識を抽出し、それを動的な形状として使用して、再発のあるシナリオで順次表面回復を行うハイブリッドアプローチを提案します。動的形状事前再構築(DSPR)メソッドは、既存の高密度NRSfM手法と組み合わせることができ、そのエネルギー関数は、新しい着信ポイントトラックのリアルタイムレートでの確率的勾配降下で最適化されます。提案された新しいコアNRSfMアプローチを備えた用途の広いフレームワークは、(変形の種類に関して)代表的な画像シーケンスにアクセスできる場合、不正確でノイズの多いポイントトラックを処理する機能において他のいくつかの方法よりも優れています。包括的な実験により、さまざまな妨害効果の下での収束特性とDSPRの精度が明らかになります。また、追跡と再構成の共同研究を行い、閉塞下での形状圧縮と心臓再構成への応用を示します。さまざまなシナリオで最先端のメトリック(精度と圧縮率)を実現します。
While dense non-rigid structure from motion (NRSfM) has been extensively studied from the perspective of the reconstructability problem over the recent years, almost no attempts have been undertaken to bring it into the practical realm. The reasons for the slow dissemination are the severe ill-posedness, high sensitivity to motion and deformation cues and the difficulty to obtain reliable point tracks in the vast majority of practical scenarios. To fill this gap, we propose a hybrid approach that extracts prior shape knowledge from an input sequence with NRSfM and uses it as a dynamic shape prior for sequential surface recovery in scenarios with recurrence. Our Dynamic Shape Prior Reconstruction (DSPR) method can be combined with existing dense NRSfM techniques while its energy functional is optimised with stochastic gradient descent at real-time rates for new incoming point tracks. The proposed versatile framework with a new core NRSfM approach outperforms several other methods in the ability to handle inaccurate and noisy point tracks, provided we have access to a representative (in terms of the deformation variety) image sequence. Comprehensive experiments highlight convergence properties and the accuracy of DSPR under different disturbing effects. We also perform a joint study of tracking and reconstruction and show applications to shape compression and heart reconstruction under occlusions. We achieve state-of-the-art metrics (accuracy and compression ratios) in different scenarios.
updated: Mon Jun 29 2020 18:37:45 GMT+0000 (UTC)
published: Thu Sep 05 2019 14:58:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト