明示的なオブジェクト モデルを使用せずに、ロボットの再配置をクラッタに一般化するという重要な問題に対処します。最初に、キャビネットや棚などの多様な日常環境で、65 万を超える乱雑なシーンを生成します。これは、以前の作業よりも桁違いです。このデータから合成部分点群をレンダリングし、CabiNet モデル アーキテクチャのトレーニングに使用します。 CabiNet は、単一ビューの深度観測からキャプチャされたオブジェクトとシーンのポイント クラウドを受け入れ、シーン内の SE(3) オブジェクト ポーズの衝突を予測する衝突モデルです。私たちの表現は、クエリごとに 7 マイクロ秒の高速な推論速度を持ち、困難な環境でのベースライン アプローチよりも 20% 近く高いパフォーマンスを発揮します。この衝突モデルを Model Predictive Path Integral (MPPI) プランナーと組み合わせて使用して、乱雑にピッキングして配置するための衝突のない軌道を生成します。また、CabiNet は、シーンの符号付き距離フィールド (SDF) から計算されたウェイポイントを予測し、再配置中にロボットが狭いスペースをナビゲートできるようにします。これにより、ベースラインと比較して再配置のパフォーマンスが約 35% 向上します。アプローチを体系的に評価し、シミュレートされた実験を手続き的に生成し、シミュレーションのみでトレーニングしているにもかかわらず、アプローチが現実の世界に直接移行することを実証します。まったく未知のシーンやオブジェクトでのロボット実験のデモは、この http://cabinet-object-rearrangement.github.io にあります。
We address the important problem of generalizing robotic rearrangement to clutter without any explicit object models. We first generate over 650K cluttered scenes - orders of magnitude more than prior work - in diverse everyday environments, such as cabinets and shelves. We render synthetic partial point clouds from this data and use it to train our CabiNet model architecture. CabiNet is a collision model that accepts object and scene point clouds, captured from a single-view depth observation, and predicts collisions for SE(3) object poses in the scene. Our representation has a fast inference speed of 7 microseconds per query with nearly 20% higher performance than baseline approaches in challenging environments. We use this collision model in conjunction with a Model Predictive Path Integral (MPPI) planner to generate collision-free trajectories for picking and placing in clutter. CabiNet also predicts waypoints, computed from the scene's signed distance field (SDF), that allows the robot to navigate tight spaces during rearrangement. This improves rearrangement performance by nearly 35% compared to baselines. We systematically evaluate our approach, procedurally generate simulated experiments, and demonstrate that our approach directly transfers to the real world, despite training exclusively in simulation. Robot experiment demos in completely unknown scenes and objects can be found at this http https://cabinet-object-rearrangement.github.io