手作りの学習ベースの記述子によって達成された局所的な特徴の抽出における進歩にもかかわらず、それらは依然として非剛体変換への不変性の欠如によって制限されています。この論文では、変形可能な表面とオブジェクトのマッチングの問題を回避するために、非剛体変形に対してロバストな静止画像から特徴を計算するための新しいアプローチを提示します。 DEALという名前の変形認識ローカル記述子は、極サンプリングと空間トランスフォーマーワーピングを活用して、回転、スケール、および画像の変形に不変性を提供します。高度に識別可能な局所的特徴を提供するためのガイダンスとして、シミュレートされた環境内のオブジェクトに等尺性の非剛体変形を適用することにより、モデルアーキテクチャをエンドツーエンドでトレーニングします。実験は、私たちの方法が、静止画像内の実際の合成変形可能オブジェクトと現実的な合成変形可能オブジェクトの両方を使用して、さまざまなデータセット内の最先端の手作りの学習ベースの画像およびRGB-D記述子よりも優れていることを示しています。記述子のソースコードとトレーニング済みモデルは、https://www.verlab.dcc.ufmg.br/descriptors/neurips2021で公開されています。
Despite the advances in extracting local features achieved by handcrafted and learning-based descriptors, they are still limited by the lack of invariance to non-rigid transformations. In this paper, we present a new approach to compute features from still images that are robust to non-rigid deformations to circumvent the problem of matching deformable surfaces and objects. Our deformation-aware local descriptor, named DEAL, leverages a polar sampling and a spatial transformer warping to provide invariance to rotation, scale, and image deformations. We train the model architecture end-to-end by applying isometric non-rigid deformations to objects in a simulated environment as guidance to provide highly discriminative local features. The experiments show that our method outperforms state-of-the-art handcrafted, learning-based image, and RGB-D descriptors in different datasets with both real and realistic synthetic deformable objects in still images. The source code and trained model of the descriptor are publicly available at https://www.verlab.dcc.ufmg.br/descriptors/neurips2021.