arXiv reaDer
TransCG: 透明なオブジェクトの深さの補完とベースラインの把握のための大規模な実世界のデータセット
TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and a Grasping Baseline
透明な物体は私たちの日常生活に身近にあり、自動化された生産ラインで頻繁に取り扱われます。これらのオブジェクトのロバストな視覚ベースのロボットによる把持と操作は、自動化に有益です。ただし、通常の深度センサーは通常、光の反射と屈折により、透明なオブジェクトの正確な深度情報を生成できません。この作業では、130 の異なるシーンからの 57,715 の RGB-D 画像を含む、透明なオブジェクトの深度を完成させるための大規模な現実世界のデータセットを提供することで、この問題に対処します。私たちのデータセットは、多様で乱雑なシーンでグラウンド トゥルースの深度、表面法線、透過マスクを提供する最初の大規模な現実世界のデータセットです。クロスドメイン実験では、データセットがより一般的であり、モデルのより優れた一般化機能を有効にできることが示されています。さらに、RGB画像と不正確な深度マップを入力として受け取り、洗練された深度マップを出力する、エンドツーエンドの深度補完ネットワークを提案します。実験は、以前の研究よりも優れた有効性、効率、および堅牢性を示しており、限られたハードウェアリソースの下で高解像度の画像を処理できます。実際のロボット実験は、私たちの方法がロバストにつかむ新しい透明オブジェクトにも適用できることを示しています。完全なデータセットと私たちの方法は、www.graspnet.net/transcg で公開されています。
Transparent objects are common in our daily life and frequently handled in the automated production line. Robust vision-based robotic grasping and manipulation for these objects would be beneficial for automation. However, the majority of current grasping algorithms would fail in this case since they heavily rely on the depth image, while ordinary depth sensors usually fail to produce accurate depth information for transparent objects owing to the reflection and refraction of light. In this work, we address this issue by contributing a large-scale real-world dataset for transparent object depth completion, which contains 57,715 RGB-D images from 130 different scenes. Our dataset is the first large-scale, real-world dataset that provides ground truth depth, surface normals, transparent masks in diverse and cluttered scenes. Cross-domain experiments show that our dataset is more general and can enable better generalization ability for models. Moreover, we propose an end-to-end depth completion network, which takes the RGB image and the inaccurate depth map as inputs and outputs a refined depth map. Experiments demonstrate superior efficacy, efficiency and robustness of our method over previous works, and it is able to process images of high resolutions under limited hardware resources. Real robot experiments show that our method can also be applied to novel transparent object grasping robustly. The full dataset and our method are publicly available at www.graspnet.net/transcg
updated: Sun Aug 28 2022 03:38:12 GMT+0000 (UTC)
published: Thu Feb 17 2022 06:50:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト