靴の踏み跡は、犯罪現場に残された最も一般的なタイプの証拠の 1 つです。しかし、そのような証拠の有用性は、膨大で増え続ける異なる靴モデルをカバーする靴のプリントのデータベースが不足しているため、制限されています.さらに、データベースは、クエリ (犯罪現場) のプリントと一致する靴のプリントを抽出できるように、靴のトレッドの写真の 3D 形状または深さを含むことが好ましい。オンライン小売業者が収集した靴のトレッドの写真を活用することで、このギャップに対処することを提案します。中心的な課題は、これらの写真の深度マップを予測することです。深さ予測子のトレーニングを可能にするグラウンド トゥルース 3D 形状がないため、3D 形状を備えた合成データを利用します。完全に教師ありの合成データと教師なしの小売画像データを組み合わせて活用することで、深さを予測することを学習する ShoeRinsics と呼ばれる方法を開発します。特に、ドメイン適応と固有の画像分解技術が合成実ドメインのギャップを効果的に軽減し、大幅に優れた深度予測をもたらすことがわかりました。私たちの方法を検証するために、靴のトレッド画像とプリントのペアで構成される 2 つの検証セットを導入し、予測された深度の品質を定量化するためのベンチマーク プロトコルを定義します。このベンチマークでは、ShoeRinsics は深度予測と合成ドメインから実ドメインへの適応の既存の方法よりも優れています。
Shoe tread impressions are one of the most common types of evidence left at crime scenes. However, the utility of such evidence is limited by the lack of databases of footwear prints that cover the large and growing number of distinct shoe models. Moreover, the database is preferred to contain the 3D shape, or depth, of shoe-tread photos so as to allow for extracting shoeprints to match a query (crime-scene) print. We propose to address this gap by leveraging shoe-tread photos collected by online retailers. The core challenge is to predict depth maps for these photos. As they do not have ground-truth 3D shapes allowing for training depth predictors, we exploit synthetic data that does. We develop a method termed ShoeRinsics that learns to predict depth by leveraging a mix of fully supervised synthetic data and unsupervised retail image data. In particular, we find domain adaptation and intrinsic image decomposition techniques effectively mitigate the synthetic-real domain gap and yield significantly better depth prediction. To validate our method, we introduce 2 validation sets consisting of shoe-tread image and print pairs and define a benchmarking protocol to quantify the quality of predicted depth. On this benchmark, ShoeRinsics outperforms existing methods of depth prediction and synthetic-to-real domain adaptation.