arXiv reaDer
SuperCaustics:ディープラーニングアプリケーション向けの透過オブジェクトのリアルタイムのオープンソースシミュレーション
SuperCaustics: Real-time, open-source simulation of transparent objects for deep learning applications
透明なオブジェクトは、コンピュータビジョンにおいて非常に難しい問題です。正確な境界がないため、セグメント化や分類が難しく、ディープニューラルネットワークのトレーニングに使用できるデータは限られています。そのため、この問題の現在のソリューションでは、柔軟性に欠け、実際のシナリオに展開するとパフォーマンスが大幅に低下する、厳格な合成データセットを採用しています。特に、これらの合成データセットでは、レンダリングパイプラインの制限により、屈折、分散、コースティクスなどの機能が省略されています。この問題に対処するために、ディープラーニングアプリケーション用に設計された透過オブジェクトのリアルタイムのオープンソースシミュレーションであるSuperCausticsを紹介します。 SuperCausticsは、確率的環境を作成するための広範なモジュールを備えています。ハードウェアレイトレーシングを使用して、コースティクス、分散、および屈折をサポートします。また、マルチモーダルでピクセルパーフェクトなグラウンドトゥルースアノテーションを使用して大規模なデータセットを生成できます。提案されたシステムを検証するために、難しい照明シナリオで透明なオブジェクトをセグメント化するために、ディープニューラルネットワークを最初からトレーニングしました。私たちのニューラルネットワークは、トレーニングデータのわずか10%を使用し、トレーニング時間のほんの一部で、実際のデータセットで最先端のパフォーマンスを達成しました。さらなる実験により、SuperCausticsでトレーニングされたモデルは、複数の透明なオブジェクトが重なっている画像でも、さまざまなタイプのコースティクスをセグメント化できることが示されています。私たちの知る限り、これは合成データでトレーニングされたモデルの最初のそのような結果です。オープンソースコードと実験データの両方がオンラインで無料で入手できます。
Transparent objects are a very challenging problem in computer vision. They are hard to segment or classify due to their lack of precise boundaries, and there is limited data available for training deep neural networks. As such, current solutions for this problem employ rigid synthetic datasets, which lack flexibility and lead to severe performance degradation when deployed on real-world scenarios. In particular, these synthetic datasets omit features such as refraction, dispersion and caustics due to limitations in the rendering pipeline. To address this issue, we present SuperCaustics, a real-time, open-source simulation of transparent objects designed for deep learning applications. SuperCaustics features extensive modules for stochastic environment creation; uses hardware ray-tracing to support caustics, dispersion, and refraction; and enables generating massive datasets with multi-modal, pixel-perfect ground truth annotations. To validate our proposed system, we trained a deep neural network from scratch to segment transparent objects in difficult lighting scenarios. Our neural network achieved performance comparable to the state-of-the-art on a real-world dataset using only 10% of the training data and in a fraction of the training time. Further experiments show that a model trained with SuperCaustics can segment different types of caustics, even in images with multiple overlapping transparent objects. To the best of our knowledge, this is the first such result for a model trained on synthetic data. Both our open-source code and experimental data are freely available online.
updated: Mon Oct 11 2021 16:14:15 GMT+0000 (UTC)
published: Fri Jul 23 2021 03:11:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト