靴の踏み板の印象は、犯罪現場に残された最も一般的な種類の証拠の1つです。ただし、そのような証拠の有用性は、膨大な数の異なる靴モデルをカバーする履物の印象パターンのデータベースの欠如によって制限されています。オンライン小売業者が収集した靴のトレッド写真を活用して、このギャップに対処することを提案します。真の印象やトレッドパターンの3D形状は利用できないため、主要な課題は靴の写真から印象パターンを予測することです。単一のトレッド写真から固有の画像分解(深度、法線、アルベド、および照明の予測)を実行するモデルを開発します。私たちがShoeRinsicsと呼ぶ私たちのアプローチは、完全に監視された合成データと監視されていない小売画像データの組み合わせを活用するために、ドメイン適応と再レンダリング損失を組み合わせています。モデルのパフォーマンスを検証するために、靴底のペアの画像と対応するプリントのセットを収集し、予測された印象の精度を定量化するためのベンチマークプロトコルを定義しました。このベンチマークでは、ShoeRinsicsは、深度予測および合成から実領域への適応のための既存の方法よりも優れています。
Shoe tread impressions are one of the most common types of evidence left at crime scenes. However, the utility of such evidence is limited by the lack of databases of footwear impression patterns that cover the huge and growing number of distinct shoe models. We propose to address this gap by leveraging shoe tread photographs collected by online retailers. The core challenge is to predict the impression pattern from the shoe photograph since ground-truth impressions or 3D shapes of tread patterns are not available. We develop a model that performs intrinsic image decomposition (predicting depth, normal, albedo, and lighting) from a single tread photo. Our approach, which we term ShoeRinsics, combines domain adaptation and re-rendering losses in order to leverage a mix of fully supervised synthetic data and unsupervised retail image data. To validate model performance, we also collected a set of paired shoe-sole images and corresponding prints, and define a benchmarking protocol to quantify the accuracy of predicted impressions. On this benchmark, ShoeRinsics outperforms existing methods for depth prediction and synthetic-to-real domain adaptation.