市販の深度センサーは通常、特に鏡面反射オブジェクトや透明オブジェクトで、ノイズの多い深度と欠落した深度を生成します。これは、下流の深度または点群ベースのタスクに重大な問題をもたらします。この問題を軽減するために、深度復元用の強力な RGBD 融合ネットワーク SwinDRNet を提案します。さらに、物理ベースのレンダリングを使用してアクティブなステレオ深度システムをシミュレートし、130K の写真のようにリアルな RGB 画像と、現実的なセンサー ノイズを含むシミュレートされた深度を含む大規模な合成データセットを生成する Domain Randomization-Enhanced Depth Simulation (DREDS) アプローチを提案します。深度復元方法を評価するために、現実世界のデータセット、つまり STD もキュレートします。このデータセットは、鏡面反射、透明、拡散など、さまざまなマテリアルを持つ 50 のオブジェクトで構成される 30 の乱雑なシーンをキャプチャします。実験は、提案された DREDS データセットが sim-to-real ドメイン ギャップを埋め、DREDS でトレーニングされた SwinDRNet が ClearGrasp などの他の実際の深度データセットにシームレスに一般化できることを実証し、リアルタイムでの深度復元に関する競合する方法よりも優れています。速度。さらに、深さの復元が、カテゴリレベルのポーズ推定や把握タスクなど、下流のタスクのパフォーマンスを効果的に向上させることを示しています。私たちのデータとコードは、https://github.com/PKU-EPIC/DREDS で入手できます。
Commercial depth sensors usually generate noisy and missing depths, especially on specular and transparent objects, which poses critical issues to downstream depth or point cloud-based tasks. To mitigate this problem, we propose a powerful RGBD fusion network, SwinDRNet, for depth restoration. We further propose Domain Randomization-Enhanced Depth Simulation (DREDS) approach to simulate an active stereo depth system using physically based rendering and generate a large-scale synthetic dataset that contains 130K photorealistic RGB images along with their simulated depths carrying realistic sensor noises. To evaluate depth restoration methods, we also curate a real-world dataset, namely STD, that captures 30 cluttered scenes composed of 50 objects with different materials from specular, transparent, to diffuse. Experiments demonstrate that the proposed DREDS dataset bridges the sim-to-real domain gap such that, trained on DREDS, our SwinDRNet can seamlessly generalize to other real depth datasets, e.g. ClearGrasp, and outperform the competing methods on depth restoration with a real-time speed. We further show that our depth restoration effectively boosts the performance of downstream tasks, including category-level pose estimation and grasping tasks. Our data and code are available at https://github.com/PKU-EPIC/DREDS