arXiv reaDer
An Image Based Visual Servo Approach with Deep Learning for Robotic Manipulation
  画像の特徴を抽出し、画像ベースの視覚サーボのヤコビ行列を推定することの難しさを目指して、本論文では、ディープラーニングを用いた画像ベースの視覚サーボ手法を提案します。畳み込みニューラルネットワーク(CNN)の強力な学習機能により、画像から特徴を抽出し、画像空間からタスク空間への非線形関係をフィッティングする自律学習が実現します。これにより、画像ベースの視覚サーボ手順が大幅に容易になります。上記の考え方に基づいて、畳み込みニューラルネットワークに基づく2ストリームネットワークを設計し、対応する制御方式を提案して、ロボットマニピュレーターの4自由度の視覚サーボを実現します。マニピュレータのさまざまなポーズパラメータの下で観測されたターゲットの画像をCNNのトレーニングサンプルとして収集し、トレーニングされたネットワークを使用して、2D画像空間から3Dデカルト空間への非線形関係を推定できます。 2ストリームネットワークは、現在の画像と望ましい画像を入力として受け取り、それらを等しくして、マニピュレータを望ましいポーズに導きます。アプローチの有効性は実験結果で検証されています。
Aiming at the difficulty of extracting image features and estimating the Jacobian matrix in image based visual servo, this paper proposes an image based visual servo approach with deep learning. With the powerful learning capabilities of convolutional neural networks(CNN), autonomous learning to extract features from images and fitting the nonlinear relationships from image space to task space is achieved, which can greatly facilitate the image based visual servo procedure. Based on the above ideas a two-stream network based on convolutional neural network is designed and the corresponding control scheme is proposed to realize the four degrees of freedom visual servo of the robot manipulator. Collecting images of observed target under different pose parameters of the manipulator as training samples for CNN, the trained network can be used to estimate the nonlinear relationship from 2D image space to 3D Cartesian space. The two-stream network takes the current image and the desirable image as inputs and makes them equal to guide the manipulator to the desirable pose. The effectiveness of the approach is verified with experimental results.
updated: Tue Sep 17 2019 11:38:09 GMT+0000 (UTC)
published: Tue Sep 17 2019 11:38:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト