オブジェクト形状の完成における最近の進歩により、視覚的な入力のみを使用した印象的なオブジェクトの再構築が可能になりました。ただし、自己閉塞のため、再構成は閉塞されたオブジェクト部分の不確実性が高く、把持などの下流のロボットタスクのパフォーマンスに悪影響を及ぼします。この作業では、再構成の不確実性に基づいてオブジェクトに触れる場所をアクティブに計算するAct-VHと呼ばれるアクティブな視覚触覚形状完成方法を提案します。 Act-VHは、点群からオブジェクトを再構築し、最近の最先端の陰関数曲面ディープニューラルネットワークであるIGRを使用して再構築の不確実性を計算します。シミュレーションと実世界で、5つのベースラインに対してAct-VHの再構成精度を実験的に評価します。また、この目的のために新しいシミュレーション環境を提案します。結果は、Act-VHがすべてのベースラインを上回り、不確実性に基づく触覚探索ポリシーが、ランダムポリシーおよびガウス過程陰関数曲面によって駆動されるポリシーよりも高い再構成精度につながることを示しています。最後の実験として、Act-VHと、10個の新しいオブジェクトを把握するための最良の再構成ベースラインを評価します。結果は、Act-VHがすべてのオブジェクトのベースラインよりも大幅に高い把握成功率に達することを示しています。一緒に、この作品は、より複雑な雑然としたシーンでアクティブな視覚触覚形状の完成を使用するための扉を開きます。
Recent advancements in object shape completion have enabled impressive object reconstructions using only visual input. However, due to self-occlusion, the reconstructions have high uncertainty in the occluded object parts, which negatively impacts the performance of downstream robotic tasks such as grasping. In this work, we propose an active visuo-haptic shape completion method called Act-VH that actively computes where to touch the objects based on the reconstruction uncertainty. Act-VH reconstructs objects from point clouds and calculates the reconstruction uncertainty using IGR, a recent state-of-the-art implicit surface deep neural network. We experimentally evaluate the reconstruction accuracy of Act-VH against five baselines in simulation and in the real world. We also propose a new simulation environment for this purpose. The results show that Act-VH outperforms all baselines and that an uncertainty-driven haptic exploration policy leads to higher reconstruction accuracy than a random policy and a policy driven by Gaussian Process Implicit Surfaces. As a final experiment, we evaluate Act-VH and the best reconstruction baseline on grasping 10 novel objects. The results show that Act-VH reaches a significantly higher grasp success rate than the baseline on all objects. Together, this work opens up the door for using active visuo-haptic shape completion in more complex cluttered scenes.