III Curso de Especialización en Automática APLICACIONES DE LA VISIÓN ARTIFICIAL VISUAL SERVOING Óscar Reinoso García 17-22 Junio de 2002 Santa Pola (Alicante) Visual Servoing Índice Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 2 1 Visual Servoing Clasificación Referencias:(Hill & Park 79) (Sanderson & Weiss 80) (Corke 93) (Corke 96) Esquema “mirar y mover” estático (look and move systems) Extracción de información de la imagen(Sist. Visión) y el control del robot son dos tareas secuenciales. El robot ejecuta la tarea suponiendo que el entorno no se ha modificado (“a ciegas”) Primeras aplicaciones recogidas en el trabajo de Corke(93) “Visual control of Robot Manipulators” Amplificadores d e Potencia IMAGEN Extracción Características f c Determinación Posición xd + Robot Cámara Controlador de articulaciones c Grupo de Tecnología Industrial xˆ III Curso de Especialización en Automática 3 Visual Servoing Clasificación “Mirar y mover” dinámico (Dynamic look and move systems) El robot puede encontrarse aún en movimiento mientras la siguiente imagen está siendo capturada. Bucle interno de control de los servomotores (frecuencia elevada) Actualización de los datos del sist. de visión (frec. menor) Bifrecuenciales La mayoría de las implementaciones en el campo del control visual. Amplificadores de Potencia c xd Controlador Cinemática Inversa c Grupo de Tecnología Industrial Cáma ra Controlador de articulaciones + - Robot ˆx Determinación Posición f Extracción Características III Curso de Especialización en Automática 4 2 Visual Servoing Clasificación Servo control visual directo (Direct visual servo systems) Desaparición del lazo de control interno del robot Procesamiento de la imagen a una frecuencia muy elevada Cámara Amplificadores de Potencia fd + Robot Controlador - f Grupo de Tecnología Industrial Extracción Características III Curso de Especialización en Automática 5 Visual Servoing Clasificación ConfiguraciónNúmero cámara-robot de cámaras 1 2 Cámara Robot >2 Cámara Robot Robot Cámara Robot Robot Cámara Cámara VM1 VM2 VM3 Modelo del robot Conocido a priori Basado en posición (PB) Grupo de Tecnología Industrial 2 ½ D (IB) Basado en imagen (IB) VM4 VM5 Estimado Analíticamente (EA) III Curso de Especialización en Automática Aprendizaje (EL) 6 3 Visual Servoing Clasificación Según el modo en que son utilizadas las características de interés extraídas de las imágenes. Sistemas de control visual basados en: Posición (3D) (Position-based visual servo systems) (u,v) -> estimar la posición/orientación del objeto respecto del sistema de coordenadas de la cámara, robot, mundo Requiere información adicional: modelo geométrico del objeto, .... Espacio cartesiano, referencia posición/orientación deseada Robot Amplificadores de Potencia c xd Cáma ra Controlador de articulaciones + Controlador - Cinemática Inversa c Grupo de Tecnología Industrial f Determinación Posición ˆx Extracción Características III Curso de Especialización en Automática 7 Visual Servoing Clasificación Características de la imagen (2D) (Image-based visual servo systems) (u,v) se usan directamente para estimar el movimiento deseado del robot Referencia (ud,vd). No estimación de pose del objeto Diseño del cotrolador más complejo Amplificadores de Pote ncia fd + Controlador Robot Cámara Controlador de articulaciones - f Grupo de Tecnología Industrial Extracción Características III Curso de Especialización en Automática 8 4 Visual Servoing Clasificación 2½D Una combinación de las dos aproximaciones anteriores (3D y 2D) Eye-in-hand (originalmente) (Malis et al. 99) Se calcula la rotación de la cámara en cada iteración (3D) y la traslación mediante coordenadas de la imagen extendidas (profundidad Z) Grupo de Tecnología Industrial III Curso de Especialización en Automática 9 Visual Servoing Visual Servoing Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 10 5 Visual Servoing Introducción al control sensorial S representa la medida actual del sensor. (características visuales en el caso de un cámara) O c Representa el sistema de coordenadas del sensor (cámara) O o Representa el sistema de coordenadas del objeto O w Representa el sistema de coordenadas del mundo Cámara x OC Robot VC Objeto S y Oo Ow Grupo de Tecnología Industrial OC z OC X& c Y&c & V Z Tc = c = c Ωc Ωxc Ωyc Ωz c III Curso de Especialización en Automática 11 Visual Servoing Introducción al control sensorial Interacción Relación mediante la cual un cambio en la posición y orientación del objeto respecto de la cámara induce un cambio en las características observadas en la imagen ( ) d S & ∂ S d r ∂S =S = ⋅ + dt ∂ r dt ∂t S = S r, t Cámara OC Robot Objeto S rposición/orientaci ón del efector final Ow LTS Grupo de Tecnología Industrial ∂S ∂S S& = ⋅ TC + ∂t ∂r ∂S S& = LTS ⋅ TC + ∂t Si el objeto esta fijo, no posee movimiento Oo ∂S =0 ∂t S& = LTS ⋅ TC Matriz de interacción (Weiss 84) (Chaumet,...) Jacobiano de la imagen (Hutchinson , Corke, Hashimoto, Kelly,...) III Curso de Especialización en Automática 12 6 Visual Servoing Introducción al control sensorial r en función de coordenadas articulares ( S = S r (q , t ),t ) d S & ∂ S ∂ r d q ∂S =S= ⋅ ⋅ + dt ∂ r ∂ q dt ∂ t () LTS S& = LTS ⋅ J (q ) ⋅ q& Grupo de Tecnología Industrial Si el objeto esta fijo, no posee movimiento ∂S =0 ∂t q& J q un cambio en las coordenadas articulares del robot induce un cambio en las características del objeto observadas en la imagen III Curso de Especialización en Automática 13 Visual Servoing Introducción al control sensorial Control de robots en el espacio de la tarea (task function approach) (Samson “Robot Control: Task Function Approach) La tarea a realizar por un sistema robótico vendrá dada por una función de salida y un objetivo de control En general una función de salida que se utiliza para describir la tarea, será una función de error En el espacio articular e(q,t)= qd(t)-q(t). Coor. Cartesianas rd(t)-r(q) El objetivo del control será la regulación de la señal de salida e para que un intervalo de tiempo sea cero. Formulación, condiciones de estabilidad, .... “visual servoing task” (Chaumet () n = dim q () m = dim e et al. 1991 ) () k = dim s ( e( r , t ) = C ⋅ S ( r , t ) − S d m ×1 m× k k ×1 ) Eligiendo S convenientemente de forma que los m componentes de e sean independientes -> permitira controlar m gdl Grupo de Tecnología Industrial III Curso de Especialización en Automática 14 7 Visual Servoing Introducción al control sensorial Con esta formulación el problema se reduce a un problema de regulación donde e( r , t ) = 0 ( e( r , t ) = C ⋅ S ( r , t ) − S d e&(r , t ) = C ⋅ S& (r, t) ∂S S& = LTS ⋅TC + ∂t ) TC S& = LTS ⋅ TC ∂S =0 ∂t ( ) = −λ ⋅ (C ⋅ L ) ⋅ C ⋅ (S (r , t ) − S ) − λ ⋅ C ⋅ S (r , t) − S d = C ⋅ LTS ⋅ TC Convergencia exponencial T + S d ( ) C ⋅ LTS > 0 C = LTS ( ) + TC = − λ ⋅ LTS ⋅ S (r , t) − S d e&( r , t ) = − λ ⋅ e ( r , t ) + Ley de Control Grupo de Tecnología Industrial III Curso de Especialización en Automática 15 Visual Servoing Visual Servoing Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 16 8 Visual Servoing Basados en Posición Introducción Puntos 3D: c Controlador de articulaciones + xd Controlador - Cáma ra Robot Amplificadores de Potencia Cinemática Inversa S CámaraC OC OC P Robot SO P r posición/orientaci Oo Ow x = OC P dO P V ( P ) S = RCO ⋅ c C dt Grupo de Tecnología Industrial f Determinación Posición xˆ Objeto ón del efector final SW c Extracción Características V (P ) S = SC C + Ω SO SC = x& SC × Oc P SO SO dx dt SO III Curso de Especialización en Automática 17 Visual Servoing Basados en Posición VC OC OC OCP P O OP OCOO dO P V ( P ) S = RCO ⋅ c C dt V (P ) S = RCO C OO V (P ) S C dO O = RCO ⋅ C O dt SO dO O ⋅ C O dt SC SO SO SO d OO P dt + ΩSO SC SO SO SO SO SC S O × Oc P SO + Ω SO − Ω SC × Oc P 0 + d OO P + dt d OO OC V ( P ) S = RCO ⋅ − C dt Grupo de Tecnología Industrial + Ω SO SO SO × Oc P III Curso de Especialización en Automática SO × Oc P SO SO 18 9 Visual Servoing Basados en Posición d OO OC V ( P) S = RCO ⋅ − C dt [V1 ] ^ 0 = V1Z − V1 Y − V1 Z 0 V1 X − Ω SC V1Y − V1 X 0 [ ] [ ] [ ] × Oc P = −RCO ⋅ d OO OC SO dt SO − RCO ⋅ Ω SC −VC RCO ⋅ Ω SC SO SO × Oc P T = RCO ⋅ RCO ⋅ Ω SC ^ T V1 = R10 ⋅V0 T = R10 ⋅ V0 ^ ⋅ R10 ^ SO SO V1 × A = [V1]^ ⋅ A T V1 = R10 ⋅ V0 SO T = RCO ⋅ RCO ⋅ Ω S C = SO × Oc P SO − Ω C × OC P = RCO SO ⋅ ΩS C ^ SO ⋅O P = c SO SO ^ SO ⋅O P = c SC SO ^ SO S C R ⋅O P = CO c SO ^ = ΩS C Grupo de Tecnología Industrial SO SO ⋅ O P = [Ω ]^ ⋅ O P c C c SC SC SC III Curso de Especialización en Automática 19 Visual Servoing Basados en Posición x = OC P S CámaraC OC Robot OC P rposición/orientaci ón del efector final Ow V (P) S = SO P C Objeto Oo SC dx dt x& = −VC − ΩC × x = x& SC V (P ) S = −VC − Ω C × OC P C [] ^ x& = −VC + x ⋅ ΩC SW x& = − I3 x 3 x& = LTx ⋅ TC LTx = − I 3 x 3 Grupo de Tecnología Industrial [x] ⋅ ΩV ^ [x] C C ^ III Curso de Especialización en Automática 20 10 Visual Servoing Basados en Posición Xi S i = Yi Z i S [ [ pi ] ^ ]⋅ Tc S&i = − I 3 x3 C . L S = − I 3 x 3 . . [ pi ] ^ . ( TC = −λ ⋅ L+S ⋅ S − S d Amplificadores de Potencia c xd Robot ) −1 ⋅ LS ) Cámar a Controlador de articulaciones + Controlador - ( L+S = LTS ⋅ LS Cinemática Inversa c ˆx Grupo de Tecnología Industrial Determinación Posición f Extracción Características III Curso de Especialización en Automática 21 Visual Servoing Índice Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 22 11 Visual Servoing Basados en Posición Pose(Posición y orientación) Mantener una pose(posición/orientación) entre el objeto y el extremo del robot. (OXG*) Otra formulación Cámara Robot OC SG O OX G RX G OR SR R * tG R * XG ⇒ R * θ G X e = O X G − OX *G Función de error a minimizar SC SO P X G − OX G* ⇒ RX G − RX G* Rt − Rt * e = R G R G* θ G − θ G Objeto Oo posición/orientación del efector final respecto del mundo R Cinemática directa G R Calibración cámara-robot Grupo de Tecnología Industrial e = RX G − RX G* Dato. Pose deseada X G* = RX C ⋅C X O ⋅OX G* Estimarlo el sistema de visión III Curso de Especialización en Automática 23 Visual Servoing Basados en Posición R * Calculo de tG R T = 3x3 01x3 [ t 3x1 ⇒ T = tx 1 t x t O * t y O * pG = = G t z 1 1 C C R tO C TO = O 1 0 R RR TC = C 0 tC 1 R Grupo de Tecnología Industrial ty tz φ ϕ γ ]T RtG* R RC = 1 0 RR = C 0 R pG* = RTC ⋅ C TO ⋅O p*G tC C RO ⋅ 1 0 R tO O t*G ⋅ = 1 1 C tC C RO ⋅O tG* + C tO ⋅ = 1 1 R R R C R ⋅O t * + RRC C tO + RtC = C O G 1 III Curso de Especialización en Automática 24 12 Visual Servoing Basados en Posición R * R tG = RC C RO ⋅O tG* + RRC C tO + Rt C Cinemática directa tG −R tG* = RtG −RRC C RO ⋅O tG* + RRC C tO −R tC R Siendo R RC Rotación entre SC y SR. Estimada por calibración C RO Estimarla a partir del sistema de visión (modelo del objeto) O * tG Distancia entre el extremo de la pinza y el objeto -> Deseada C Distancia objeto-cámara hay que estimarla (modelo del objeto) tO R tC Distancia cámara-robot. Estimada por calibración Grupo de Tecnología Industrial III Curso de Especialización en Automática 25 Visual Servoing Basados en Posición R * Cálculo de θG R Ω*G = R RC ⋅C Ω*G + R ΩC = R RC ⋅ ( C ) RO ⋅ O Ω*G + C Ω O + R ΩC = = R RC ⋅C RO ⋅O Ω *G + R RC ⋅C Ω O + R ΩC Integrando R * R θ G ≈ RC ⋅ C RO ⋅O θ G* + RRC ⋅ C θ O + Rθ C θG −RθG* ≈RθG −R RC ⋅C RO ⋅OθG* − RRC ⋅C θO −RθC R Ley de control Grupo de Tecnología Industrial q& = K ⋅ e III Curso de Especialización en Automática 26 13 Visual Servoing Visual Servoing Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 27 Visual Servoing Basado en características de la imagen Introducción fd + Amplificadores de Potencia Controlador Robot Cámara Controlador de articulaciones - f Extracción Características (u(t0 ),v(t 0)) (u(t F),v(t F)) Imagen inicial Grupo de Tecnología Industrial Imagen final III Curso de Especialización en Automática 28 14 Visual Servoing Basado en características de la imagen Parámetros intrínsecos f ⋅ kx B = 0 0 Cx Cy 1 0 f ⋅k y 0 image co-ordinate system (pixels) X i Pi = Yi Z i retina Oi system Yr Xi Image Centre or Principal Point Xr Or (u0, v0) Focal point Camer co-ordinate system P 3D point Pu Zc Observed projection Oc World co-ordinate system Pd f Yc Xc ui si = vi Zr co-ordinate Zi Yi Focal distance xi pi = yi Image Retinal Xw Yw Ideal projection Zw Ow K Grupo de Tecnología Industrial III Curso de Especialización en Automática 29 Visual Servoing Basado en características de la imagen Calculo de la matriz de interacción (jacobiano imagen) ui xi u 0 ui Fu 0 xi u0 = A⋅ + v = 0 F ⋅ y + v v i yi v0 v i 0 i d Si ∂pi dPi ∂pi ∂Pi dr ∂pi T = ⋅ = ⋅ ⋅ = ⋅ LPi ⋅ T dt ∂Pi dt ∂Pi ∂r dt ∂Pi xi y = i Xi Z i Yi Z i Grupo de Tecnología Industrial x&i y& = i 1 Z i 0 0 1 Zi xi Zi y − i Zi − 0 − 1 0 0 Zi 0 −1 0 0 0 − 1 − Yi X& i ⋅ Y&i & Zi de la u& i x& i & = A⋅ & vi yi − Zi 0 Xi Yi − Xi 0 dPi = −Vc − Ω c xOc P dt III Curso de Especialización en Automática Velocidad de un punto respecto de un sistema de referencia movil 30 15 Visual Servoing Basado en características de la imagen 1 x& i Z i y& = i 0 0 1 Zi xi − 1 0 0 0 Zi ⋅ 0 −1 0 Z i y − i 0 0 −1 − Y i Z i − 1 Z u& i x& i = A ⋅ = A ⋅ i v& y& i i 0 LS i ( ) Grupo de Tecnología Industrial xi −1 0 0 0 Zi yi ⋅ 0 −1 0 Z i − Z i 0 0 −1 −Yi − 0 1 Zi −1 S i , Z i , A = A ⋅ Zi 0 − Zi 0 Xi Vx V y Yi V z − Xi ⋅ ωx 0 ω y ω z 0 −1 Zi xi x i ⋅ yi Zi yi 1 + y i2 Zi − 1 − xi2 − xi ⋅ y i − Zi 0 Xi Yi − X i ⋅T 0 yi − xi III Curso de Especialización en Automática 31 Visual Servoing Basado en características de la imagen Cálculo de la matriz de interacción: LTS i LTS i (S , Z , A ) (S , Z , A) Un conjunto de puntos ( LTS i = . . LS i i i En cada iteración se calcula Zi i * i En cada iteración se calcula Zi= Zi* * LTS i S i , Z i* , A ) . .T En el equilibrio Zi= Zi* y Si= Si* Rango de la matriz de interacción es 2 à sólo 2 gdl mediante un punto característico + ( TC = − λ ⋅ LTS ⋅ S (t ) − S d Grupo de Tecnología Industrial ) Ley de Control III Curso de Especialización en Automática 32 16 Visual Servoing Basado en características de la imagen Amplificadores de Pote ncia fd + Cámara Robot Controlador de articulaciones Controlador - f + Extracción Características ( TC = − λ ⋅ LTS ⋅ S (t ) − S d TC = RWC ⋅ J ⋅ q& Grupo de Tecnología Industrial ( ) q& = RWC ⋅ J ) −1 ⋅ TC III Curso de Especialización en Automática 33 Visual Servoing Índice Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 34 17 Visual Servoing Basado en características de la imagen Segmentos 2D (Martinet 2001...) u1 S 1 = v1 S = S1 , S 2 ⇒ S 2 = u2 v 2 1 segmento (centro, longitud y orientación) S G = (U G VG ( 2 puntos uG vG u1 v1 ) T θ u2 v2 uG = u1 + u2 2 vG = L θ )T v1 + v2 2 (u2 − u1 )2 + (v 2 − v1 )2 θ = arctan(v 2 − v1, u2 − u1 ) L= L Plano de la Imagen Grupo de Tecnología Industrial III Curso de Especialización en Automática 35 Visual Servoing Basado en características de la imagen Cálculo de la matriz de interacción(jacobiano de la imagen) para 2 puntos: u1 Xi xi S 1 = ui T v p = 1 s = i i v S = (S1 , S 2 ) ⇒ Pi = Yi yi i S 2 = u2 v Z i 2 Xi xi Zi y = Y i i Z i Grupo de Tecnología Industrial ( LTS i = . . LS i ) . .T −1 0 Z 1 0 −1 A 0 Z1 ⋅ LS = 0 A −1 0 Z2 −1 0 Z2 Anteriormente Un conjunto de puntos x1 x1 ⋅ y1 −1 − x12 y1 Z1 y1 1 + y12 − x1 ⋅ y1 − x1 Z1 xi x2 ⋅ y 2 − 1 − x22 y2 Z2 yi 1 + y22 − x2 ⋅ y2 − x 2 Z2 III Curso de Especialización en Automática 36 18 Visual Servoing Basado en características de la imagen Cálculo de la matriz de interacción(jacobiano de la imagen) para segmento(centro,longitud,orientación): S G = (U G VG L θ )T uG vG u1 v1 θ u2 v2 u1 + u2 2 uG = v1 + v2 2 (u2 − u1 )2 + (v 2 − v1 )2 θ = arctan(v 2 − v1, u2 − u1 ) L= L ∂U G ∂S ∂VG ∂S G ∂S = ∂S ∂L ∂S ∂θ ∂S Plano de la Imagen U& G d S G V&G ∂ S G d S ∂ S G ∂ S dr ∂ S G T = = ⋅ = ⋅ ⋅ = ⋅ LS ⋅ T & dt ∂ S ∂ r dt ∂S L ∂ S dt θ& Grupo de Tecnología Industrial vG = III Curso de Especialización en Automática 37 Visual Servoing Basado en características de la imagen ∂U G ∂U G ∂S ∂ V G ∂SG ∂S = ∂S ∂L ∂S ∂θ ∂S u1 v S = 1 u2 v 2 ∂S 1 = 2 vG = v1 + v2 2 (u 2 − u1) + (v2 − v1 ) θ = arctan (v 2 − v1 , u2 − u1 ) L= 2 Grupo de Tecnología Industrial 2 ∂VG 0 ∂S ∆U = − L 1 = 0 2 0 1 2 ∂L 1 1 ∆U = ⋅ ⋅ 2 ⋅ (u1 − u2 ) = − ∂u1 2 L L ∂L 1 1 ∆V = ⋅ ⋅ 2 ⋅ (v1 − v2 ) = − ∂v1 2 L L ∂S u1 + u 2 2 1 2 ∆U = u2 − u1 ∆V = v2 − v1 ∂L uG = 0 ∂L ∆U = ∂u2 L − ∆V L ∆U L ∂L ∆U = ∂v 2 L ∆V L ∂θ ∂ = [arctan (∆V , ∆U )] = ∂S ∂S 1 ∂ ∆V = ⋅ ∂θ ∆V ∆U 2 ∂ S ∆U ∆V = 2 − 2 1+ ∂ S L L ∆U θ = arctan (∆V , ∆U ) ⇒ III Curso de Especialización en Automática − ∆V L2 ∆U L2 38 19 Visual Servoing Basado en características de la imagen U& G d S G V&G ∂ S G d S ∂ S G ∂ S dr ∂ S G T = = ⋅ = ⋅ ⋅ = ⋅ LS ⋅ T & dt ∂ S ∂r dt ∂S L ∂ S dt θ& ∂U G ∂S ∂VG ∂S G ∂S = ∂S ∂L ∂S ∂θ ∂S 1 2 0 = ∆U − L ∆V L2 1 2 0 1 2 ∆V − L ∆U − 2 L Grupo de Tecnología Industrial 0 ∆U L ∆V − 2 L 0 1 2 ⋅ A ∆V 0 L ∆U L2 −1 x1 0 x1 ⋅ y1 Z Z 1 1 0 − 1 y1 1 + y 2 1 0 Z1 Z1 ⋅ xi A − 1 0 x2 ⋅ y2 Z2 Z2 −1 yi 1 + y22 0 Z Z2 2 − 1 − x12 − x1 ⋅ y1 −1 − x 22 − x2 ⋅ y2 III Curso de Especialización en Automática y1 − x1 y2 − x2 39 Visual Servoing Basado en características de la imagen Rango de LS o LS à 4 luego sólo 4 gdl pueden ser G controlados mediante un segmento Ejemplo: Centrado u1 v1 uG vG u2 v2 SG L* Z1 =Z2 =Z* Plano de la Imagen Grupo de Tecnología Industrial 0 0 = * ⇒ LT * SG L 0 −1 0 Z 1 0 −1 Z1 = −1 0 Z2 −1 0 Z2 x1 x1 ⋅ y1 Z1 y1 1 + y12 Z1 xi x2 ⋅ y2 Z2 yi 1 + y 22 Z2 III Curso de Especialización en Automática − 1 − x12 − x1 ⋅ y1 − 1 − x 22 − x2 ⋅ y2 y1 − x1 y2 − x2 40 20 Visual Servoing Basado en características de la imagen Otras características Lineas 2D Elipses Etc.... Grupo de Tecnología Industrial III Curso de Especialización en Automática 41 Visual Servoing Índice Clasificación de los distintos enfoques. “visual servoing” Introducción al control sensorial (cámara) Sistemas de control visual basados en: Posición (3D) Puntos 3D Pose(posición/orientación) Basado en características de la imagen Puntos 2D Segmentos 2D Otras características Implementación Simulaciones Experimentación Grupo de Tecnología Industrial III Curso de Especialización en Automática 42 21 Visual Servoing Implementación Basado en características: Simulaciones: Simulink (Toolbox “Prácticas de Robótica” ISA-UMH) Objeto fijo y móvil 2 gdl y 6 gdl Módelo del robot Primeras simulaciones (hipotético) Restantes simulaciones (PA-10) Implementación experimental Sobre el manipulador industrial PA-10, en la configuración eye-in-hand Grupo de Tecnología Industrial III Curso de Especialización en Automática 43 Visual Servoing Implementación Primeras simulaciones q2 q1 r1 Y l1 V m1 q1 r2 q2 V l2 m2 Pinza Objeto Cámara Grupo de Tecnología Industrial X III Curso de Especialización en Automática 44 22