展開中の意味知覚を改善できる新しいロボットシステムを提案します。大規模なデータセットからセマンティクスを学習し、固定モデルを展開するという確立されたアプローチとは異なり、展開環境に適応するためにセマンティックモデルがロボット上で継続的に更新されるフレームワークを提案します。したがって、私たちのシステムは、マルチセンサーの知覚とローカリゼーションを緊密に結合して、自己教師あり疑似ラベルから継続的に学習します。建物モデルに対して雑然とした環境のLiDARスキャンを登録する建設ロボットのコンテキストでこのシステムを研究します。私たちの実験は、展開中にロボットのセマンティック知覚がどのように改善されるか、そしてこれが、大幅に異なる環境間でも、LiDARスキャンからクラッターをフィルタリングすることによって改善された3Dローカリゼーションにどのように変換されるかを示しています。さらに、そのような継続的な学習環境がもたらす壊滅的な忘れのリスクを研究します。記憶の再生は忘却を減らすための効果的な手段であり、異なる環境を切り替えた場合でもロボットシステムがどのように改善できるかを示しています。私たちのシステムは、固定モデルの展開と比較して、平均してセグメンテーションで60%、ローカリゼーションで10%向上し、さらなる環境に適応しながらこの改善を維持します。
We propose a novel robotic system that can improve its semantic perception during deployment. Contrary to the established approach of learning semantics from large datasets and deploying fixed models, we propose a framework in which semantic models are continuously updated on the robot to adapt to the deployment environments. Our system therefore tightly couples multi-sensor perception and localisation to continuously learn from self-supervised pseudo labels. We study this system in the context of a construction robot registering LiDAR scans of cluttered environments against building models. Our experiments show how the robot's semantic perception improves during deployment and how this translates into improved 3D localisation by filtering the clutter out of the LiDAR scan, even across drastically different environments. We further study the risk of catastrophic forgetting that such a continuous learning setting poses. We find memory replay an effective measure to reduce forgetting and show how the robotic system can improve even when switching between different environments. On average, our system improves by 60% in segmentation and 10% in localisation compared to deployment of a fixed model, and it keeps this improvement up while adapting to further environments.