2D 輪郭と 3D メッシュの間の連続的で非剛体の一致を見つける問題を考えます。このような問題は、積グラフで両方の形状間の最短経路を見つけることによって大域的な最適化に解決できますが、既存の解決策は、非現実的な事前の仮定に大きく依存して、退化した解決策を回避します (たとえば、2D 輪郭の各点が 3D 形状のどの領域に到達するかの知識)。一致しています)。これに対処するために、2D 輪郭と 3D 形状の間の共役積グラフに基づく新しい 2D-3D 形状マッチング形式を提案します。そうすることで、単一のエッジに対して定義されたコストとは対照的に、エッジ チェーンに対して定義された高次のコストを初めて考慮することができます。これにより、柔軟性が大幅に向上し、これを利用して局所的な剛性事前分布を組み込みます。そうすることで、縮退したソリューションを効果的に回避し、1 次元の特徴記述子のみを使用する場合でも、よりスムーズで現実的なマッチングを取得します。全体として、私たちの方法は、グローバルに最適で連続的な 2D-3D マッチングを見つけ、以前のソリューションと同じ漸近的な複雑さを持ち、形状マッチングの最先端の結果を生成し、部分形状のマッチングさえ可能です。
We consider the problem of finding a continuous and non-rigid matching between a 2D contour and a 3D mesh. While such problems can be solved to global optimality by finding a shortest path in the product graph between both shapes, existing solutions heavily rely on unrealistic prior assumptions to avoid degenerate solutions (e.g. knowledge to which region of the 3D shape each point of the 2D contour is matched). To address this, we propose a novel 2D-3D shape matching formalism based on the conjugate product graph between the 2D contour and the 3D shape. Doing so allows us for the first time to consider higher-order costs, i.e. defined for edge chains, as opposed to costs defined for single edges. This offers substantially more flexibility, which we utilise to incorporate a local rigidity prior. By doing so, we effectively circumvent degenerate solutions and thereby obtain smoother and more realistic matchings, even when using only a one-dimensional feature descriptor. Overall, our method finds globally optimal and continuous 2D-3D matchings, has the same asymptotic complexity as previous solutions, produces state-of-the-art results for shape matching and is even capable of matching partial shapes.