arXiv reaDer
どのようにドレープしますか?深度画像からファブリック メカニクスをキャプチャする
How Will It Drape Like? Capturing Fabric Mechanics from Depth Images
深度カメラを使用したカジュアルなキャプチャ設定を使用して、布地の機械的パラメーターを推定する方法を提案します。私たちのアプローチにより、実際のテキスタイル素材の機械的に正確なデジタル表現を作成できます。これは、多くのインタラクティブなデザインおよびエンジニアリング アプリケーションの基本的なステップです。通常、高価なセットアップ、ビデオ シーケンス、または手動の介入を必要とする既存のキャプチャ方法とは対照的に、当社のソリューションは大規模にキャプチャでき、テキスタイルの光学的外観にとらわれず、専門家ではないオペレーターによるファブリックの配置を容易にします。この目的のために、1つまたは複数の画像を入力として取り、機械的パラメーターの完全なセットを出力できる学習ベースのフレームワークをトレーニングするためのsim-to-real戦略を提案します。慎重に設計されたデータ拡張と転移学習プロトコルのおかげで、私たちのソリューションは合成データのみでトレーニングされているにもかかわらず、実際の画像に一般化されるため、sim-to-real ループをうまく閉じることができます。パラメータ空間での類似性は、人間の知覚と一致しない不正確な距離につながります。これを克服するために、パラメーター空間ではなく画像ドメインで動作する生地ドレープの類似性の新しいメトリックを提案し、類似性ランクのコンテキスト内で推定を評価できるようにします。アウト メトリックがドレープの類似性の認識に関する人間の判断と相関すること、およびモデル予測がグラウンド トゥルース パラメーターと比較して知覚的に正確な結果を生成することを示します。
We propose a method to estimate the mechanical parameters of fabrics using a casual capture setup with a depth camera. Our approach enables to create mechanically-correct digital representations of real-world textile materials, which is a fundamental step for many interactive design and engineering applications. As opposed to existing capture methods, which typically require expensive setups, video sequences, or manual intervention, our solution can capture at scale, is agnostic to the optical appearance of the textile, and facilitates fabric arrangement by non-expert operators. To this end, we propose a sim-to-real strategy to train a learning-based framework that can take as input one or multiple images and outputs a full set of mechanical parameters. Thanks to carefully designed data augmentation and transfer learning protocols, our solution generalizes to real images despite being trained only on synthetic data, hence successfully closing the sim-to-real loop.Key in our work is to demonstrate that evaluating the regression accuracy based on the similarity at parameter space leads to an inaccurate distances that do not match the human perception. To overcome this, we propose a novel metric for fabric drape similarity that operates on the image domain instead on the parameter space, allowing us to evaluate our estimation within the context of a similarity rank. We show that out metric correlates with human judgments about the perception of drape similarity, and that our model predictions produce perceptually accurate results compared to the ground truth parameters.
updated: Thu Apr 13 2023 17:54:08 GMT+0000 (UTC)
published: Thu Apr 13 2023 17:54:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト