arXiv reaDer
カメラモーションスムージングによる視覚モデルのロバスト性証明
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
膨大な文献が、学習ベースの視覚認知モデルが敵対的ノイズに敏感であることを示していますが、広く存在するカメラの動きの摂動下でのロボット認知モデルの堅牢性を考慮した研究はほとんどありません。この目的のために、ロボットの知覚に対するカメラの動きの影響を調査するために、カメラの動きの摂動下での視覚認識モデルのロバスト性を研究します。具体的には、カメラの動きの摂動下でのロバスト性を証明できる、任意の画像分類モデルの動きの平滑化手法を提案します。カメラの動きの平滑化に基づく提案された堅牢性認定フレームワークは、視覚認識モジュールに厳密でスケーラブルな堅牢性保証を提供し、幅広いロボットアプリケーションに適用できるようにします。私たちが知る限り、これはカメラの動きに対する深層認識モジュールのロバスト性認定を提供する最初の作業であり、ロボット認識の信頼性を向上させます。部屋全体の密な点群マップを備えた現実的な屋内ロボット データセットである MetaRoom は、挑戦的な認証可能なロバストな知覚タスクのために導入されています。カメラの動きの摂動に対する動きの平滑化による認証アプローチを検証するために、広範な実験を行います。私たちのフレームワークは、-0.1m ~ 0.1m 以内の深さ方向に沿ったカメラの並進摂動に対して 81.7% の認定精度を保証します。また、手持ちカメラを備えたロボットアームでハードウェア実験を行うことにより、実世界のロボットでの方法の有効性を検証します。コードは https://github.com/HanjiangHu/camera-motion-smoothing で入手できます。
A vast literature shows that the learning-based visual perception model is sensitive to adversarial noises, but few works consider the robustness of robotic perception models under widely-existing camera motion perturbations. To this end, we study the robustness of the visual perception model under camera motion perturbations to investigate the influence of camera motion on robotic perception. Specifically, we propose a motion smoothing technique for arbitrary image classification models, whose robustness under camera motion perturbations could be certified. The proposed robustness certification framework based on camera motion smoothing provides tight and scalable robustness guarantees for visual perception modules so that they are applicable to wide robotic applications. As far as we are aware, this is the first work to provide robustness certification for the deep perception module against camera motions, which improves the trustworthiness of robotic perception. A realistic indoor robotic dataset with a dense point cloud map for the entire room, MetaRoom, is introduced for the challenging certifiable robust perception task. We conduct extensive experiments to validate the certification approach via motion smoothing against camera motion perturbations. Our framework guarantees the certified accuracy of 81.7% against camera translation perturbation along depth direction within -0.1m ~ 0.1m. We also validate the effectiveness of our method on the real-world robot by conducting hardware experiments on the robotic arm with an eye-in-hand camera. The code is available at https://github.com/HanjiangHu/camera-motion-smoothing.
updated: Sun Nov 13 2022 05:01:27 GMT+0000 (UTC)
published: Tue Oct 04 2022 15:31:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト