S - ingeniería de sistemas y automática

III Curso de Especialización en
Automática
APLICACIONES DE LA
VISIÓN ARTIFICIAL
VISUAL SERVOING
Óscar Reinoso García
17-22 Junio de 2002
Santa Pola (Alicante)
Visual Servoing
Índice
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
2
1
Visual Servoing
Clasificación
Referencias:(Hill & Park 79) (Sanderson & Weiss 80) (Corke 93)
(Corke 96)
Esquema “mirar y mover” estático (look and move systems)
Extracción de información de la imagen(Sist. Visión) y el
control del robot son dos tareas secuenciales.
El robot ejecuta la tarea suponiendo que el entorno
no se ha modificado (“a ciegas”)
Primeras aplicaciones recogidas en el trabajo de
Corke(93) “Visual control of Robot Manipulators”
Amplificadores
d e Potencia
IMAGEN
Extracción
Características
f
c
Determinación
Posición
xd +
Robot
Cámara
Controlador
de
articulaciones
c
Grupo de
Tecnología Industrial
xˆ
III Curso de Especialización en Automática
3
Visual Servoing
Clasificación
“Mirar y mover” dinámico (Dynamic look and move systems)
El robot puede encontrarse aún en movimiento mientras la
siguiente imagen está siendo capturada.
Bucle interno de control de los servomotores (frecuencia elevada)
Actualización de los datos del sist. de visión (frec. menor)
Bifrecuenciales
La mayoría de las implementaciones en el campo del control
visual.
Amplificadores
de Potencia
c
xd
Controlador
Cinemática
Inversa
c
Grupo de
Tecnología Industrial
Cáma ra
Controlador
de
articulaciones
+
-
Robot
ˆx
Determinación
Posición
f
Extracción
Características
III Curso de Especialización en Automática
4
2
Visual Servoing
Clasificación
Servo control visual directo (Direct visual servo
systems)
Desaparición del lazo de control interno del robot
Procesamiento de la imagen a una frecuencia muy
elevada
Cámara
Amplificadores
de Potencia
fd +
Robot
Controlador
-
f
Grupo de
Tecnología Industrial
Extracción
Características
III Curso de Especialización en Automática
5
Visual Servoing
Clasificación
ConfiguraciónNúmero
cámara-robot
de cámaras
1
2
Cámara
Robot
>2
Cámara
Robot
Robot
Cámara
Robot
Robot
Cámara
Cámara
VM1
VM2
VM3
Modelo del robot
Conocido a priori
Basado en posición (PB)
Grupo de
Tecnología Industrial
2 ½ D (IB)
Basado en imagen (IB)
VM4
VM5
Estimado
Analíticamente (EA)
III Curso de Especialización en Automática
Aprendizaje (EL)
6
3
Visual Servoing
Clasificación
Según el modo en que son utilizadas las características de interés
extraídas de las imágenes. Sistemas de control visual basados en:
Posición (3D) (Position-based visual servo systems)
(u,v) -> estimar la posición/orientación del objeto respecto del
sistema de coordenadas de la cámara, robot, mundo
Requiere información adicional: modelo geométrico del objeto, ....
Espacio cartesiano, referencia posición/orientación deseada
Robot
Amplificadores
de Potencia
c
xd
Cáma ra
Controlador
de
articulaciones
+
Controlador
-
Cinemática
Inversa
c
Grupo de
Tecnología Industrial
f
Determinación
Posición
ˆx
Extracción
Características
III Curso de Especialización en Automática
7
Visual Servoing
Clasificación
Características de la imagen (2D) (Image-based visual servo
systems)
(u,v) se usan directamente para estimar el movimiento
deseado del robot
Referencia (ud,vd). No estimación de pose del objeto
Diseño del cotrolador más complejo
Amplificadores
de Pote ncia
fd +
Controlador
Robot
Cámara
Controlador
de
articulaciones
-
f
Grupo de
Tecnología Industrial
Extracción
Características
III Curso de Especialización en Automática
8
4
Visual Servoing
Clasificación
2½D
Una combinación de las dos aproximaciones anteriores (3D y
2D)
Eye-in-hand (originalmente) (Malis et al. 99)
Se calcula la rotación de la cámara en cada iteración (3D) y la
traslación mediante coordenadas de la imagen extendidas
(profundidad Z)
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
9
Visual Servoing
Visual Servoing
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
10
5
Visual Servoing
Introducción al control sensorial
S representa la medida actual del sensor.
(características visuales en el caso de un cámara)
O c Representa el sistema de coordenadas del sensor
(cámara)
O o Representa el sistema de coordenadas del objeto
O w Representa el sistema de coordenadas del mundo
Cámara
x
OC
Robot
VC
Objeto
S
y
Oo
Ow
Grupo de
Tecnología Industrial
OC
z
OC
 X& c 


 Y&c 
 & 
V 
Z
Tc =  c  =  c 
 Ωc   Ωxc 


 Ωyc 
 Ωz 
 c
III Curso de Especialización en Automática
11
Visual Servoing
Introducción al control sensorial
Interacción
Relación mediante la cual un cambio en la posición y
orientación del objeto respecto de la cámara induce un
cambio en las características observadas en la imagen
( )
d S & ∂ S d r ∂S
=S =
⋅
+
dt
∂ r dt ∂t
S = S r, t
Cámara
OC
Robot
Objeto
S
rposición/orientaci
ón del efector final
Ow
LTS
Grupo de
Tecnología Industrial
∂S
∂S
S& =
⋅ TC +
∂t
∂r
∂S
S& = LTS ⋅ TC +
∂t
Si el objeto esta fijo, no posee movimiento
Oo
∂S
=0
∂t
S& = LTS ⋅ TC
Matriz de interacción
(Weiss 84) (Chaumet,...)
Jacobiano de la imagen
(Hutchinson , Corke, Hashimoto, Kelly,...)
III Curso de Especialización en Automática
12
6
Visual Servoing
Introducción al control sensorial
r en función de coordenadas articulares
(
S = S r (q , t ),t
)
d S & ∂ S ∂ r d q ∂S
=S=
⋅ ⋅
+
dt
∂ r ∂ q dt ∂ t
()
LTS
S& = LTS ⋅ J (q ) ⋅ q&
Grupo de
Tecnología Industrial
Si el objeto esta
fijo, no posee
movimiento
∂S
=0
∂t
q&
J q
un cambio en las coordenadas articulares del
robot induce un cambio en las características
del objeto observadas en la imagen
III Curso de Especialización en Automática
13
Visual Servoing
Introducción al control sensorial
Control de robots en el espacio de la tarea (task function
approach) (Samson “Robot Control: Task Function Approach)
La tarea a realizar por un sistema robótico vendrá dada por una
función de salida y un objetivo de control
En general una función de salida que se utiliza para describir la tarea, será
una función de error
En el espacio articular e(q,t)= qd(t)-q(t). Coor. Cartesianas rd(t)-r(q)
El objetivo del control será la regulación de la señal de salida e para que un
intervalo de tiempo sea cero.
Formulación, condiciones de estabilidad, ....
“visual servoing task” (Chaumet
()
n = dim q
()
m = dim e
et al. 1991 )
()
k = dim s
(
e( r , t ) = C ⋅ S ( r , t ) − S d
m ×1
m× k k ×1
)
Eligiendo S convenientemente de forma que los m componentes de e
sean independientes -> permitira controlar m gdl
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
14
7
Visual Servoing
Introducción al control sensorial
Con esta formulación el problema se reduce a un
problema de regulación donde e( r , t ) = 0
(
e( r , t ) = C ⋅ S ( r , t ) − S d
e&(r , t ) = C ⋅ S& (r, t)
∂S
S& = LTS ⋅TC +
∂t
)
TC
S& = LTS ⋅ TC
∂S
=0
∂t
(
)
= −λ ⋅ (C ⋅ L ) ⋅ C ⋅ (S (r , t ) − S )
− λ ⋅ C ⋅ S (r , t) − S d = C ⋅ LTS ⋅ TC
Convergencia exponencial
T +
S
d
( )
C ⋅ LTS > 0
C = LTS
(
)
+
TC = − λ ⋅ LTS ⋅ S (r , t) − S d
e&( r , t ) = − λ ⋅ e ( r , t )
+
Ley de Control
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
15
Visual Servoing
Visual Servoing
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
16
8
Visual Servoing
Basados en Posición
Introducción Puntos 3D:
c
Controlador
de
articulaciones
+
xd
Controlador
-
Cáma ra
Robot
Amplificadores
de Potencia
Cinemática
Inversa
S
CámaraC
OC
OC P
Robot
SO
P
r posición/orientaci
Oo
Ow
x = OC P

dO P
V ( P ) S = RCO ⋅  c
C
 dt

Grupo de
Tecnología Industrial
f
Determinación
Posición
xˆ
Objeto
ón del efector final
SW
c
Extracción
Características
V (P ) S =
SC
C
+ Ω SO
SC
= x&
SC
× Oc P
SO
SO
dx
dt


SO 

III Curso de Especialización en Automática
17
Visual Servoing
Basados en Posición
VC
OC
OC
OCP
P
O OP
OCOO

dO P
V ( P ) S = RCO ⋅  c
C
 dt

V (P ) S = RCO
C
OO
V (P ) S
C

 dO O
= RCO ⋅  C O
dt


SO

 dO O
⋅ C O
dt


SC
SO
SO
SO
d OO P
dt
+ ΩSO
SC
SO
SO
SO


SO 

SC S
O
× Oc P
SO
+ Ω SO
− Ω SC
× Oc P
0
+
d OO P
+
dt

d OO OC
V ( P ) S = RCO ⋅ −
C

dt

Grupo de
Tecnología Industrial
+ Ω SO
SO
SO
× Oc P
III Curso de Especialización en Automática


SO 




× Oc P 
SO




SO 

18
9
Visual Servoing
Basados en Posición

d OO OC
V ( P) S = RCO ⋅ −
C

dt

[V1 ]
^
 0

=  V1Z
− V1
Y

− V1 Z
0
V1 X
− Ω SC
V1Y 

− V1 X 
0 
[ ]
[
]
[ ]
× Oc P

 = −RCO ⋅ d OO OC
SO 
dt

SO
− RCO ⋅ Ω SC

−VC

RCO ⋅ Ω SC

SO
SO
× Oc P
T
= RCO ⋅  RCO
⋅ Ω SC

^
T
V1 = R10
⋅V0
T
= R10
⋅ V0 ^ ⋅ R10
^
SO
SO
V1 × A = [V1]^ ⋅ A
T
V1 = R10
⋅ V0
SO
T
= RCO ⋅ RCO
⋅ Ω S C

=
SO
× Oc P
SO



− Ω C × OC P

= RCO
SO 

⋅ ΩS C

^
SO
 ⋅O P
=
c
SO 
SO

^
SO
 ⋅O P
=
c
SC 
SO

^
SO S
C
 R ⋅O P =
 CO c SO
^
= ΩS C

Grupo de
Tecnología Industrial
SO
SO
 ⋅ O P = [Ω ]^ ⋅ O P
c
C
c
SC 
SC
SC

III Curso de Especialización en Automática
19
Visual Servoing
Basados en Posición
x = OC P
S
CámaraC
OC
Robot
OC P
rposición/orientaci
ón del efector final
Ow
V (P) S =
SO
P
C
Objeto
Oo
SC
dx
dt
x& = −VC − ΩC × x
= x&
SC
V (P ) S = −VC − Ω C × OC P
C
[]
^
x& = −VC + x ⋅ ΩC
SW
x& =  − I3 x 3

x& = LTx ⋅ TC
LTx = − I 3 x 3

Grupo de
Tecnología Industrial
[x]  ⋅  ΩV
^
[x] 


 C
C
^
III Curso de Especialización en Automática
20
10
Visual Servoing
Basados en Posición
 Xi 
 
S i =  Yi 
Z 
 i S
[
[ pi ] ^ ]⋅ Tc
S&i = − I 3 x3
C
 .

L S = − I 3 x 3
 .
. 
[ pi ] ^ 
. 
(
TC = −λ ⋅ L+S ⋅ S − S d
Amplificadores
de Potencia
c
xd
Robot
)
−1
⋅ LS
)
Cámar a
Controlador
de
articulaciones
+
Controlador
-
(
L+S = LTS ⋅ LS
Cinemática
Inversa
c
ˆx
Grupo de
Tecnología Industrial
Determinación
Posición
f
Extracción
Características
III Curso de Especialización en Automática
21
Visual Servoing
Índice
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
22
11
Visual Servoing
Basados en Posición
Pose(Posición y orientación)
Mantener una pose(posición/orientación) entre el
objeto y el extremo del robot. (OXG*)
Otra formulación
Cámara
Robot
OC
SG
O
OX
G
RX
G
OR
SR
R *

 tG
R *
XG ⇒ R *
 θ G
X
e = O X G − OX *G
Función de error a minimizar
SC
SO
P
X G − OX G* ⇒ RX G − RX G*
 Rt − Rt * 
e =  R G R G* 
 θ G − θ G 
Objeto
Oo
posición/orientación
del efector final
respecto del mundo
R
Cinemática directa
G
R
Calibración
cámara-robot
Grupo de
Tecnología Industrial
e = RX G − RX G*
Dato. Pose deseada
X G* = RX C ⋅C X O ⋅OX G*
Estimarlo el
sistema de visión
III Curso de Especialización en Automática
23
Visual Servoing
Basados en Posición
R *
Calculo de tG
R
T =  3x3
 01x3
[
t 3x1
⇒ T = tx
1 
t x 
t   O * 
t
y
O *
pG =   =  G 
t z   1 
 
1 
C 
C R
tO
C
TO =  O

1 
 0
R
RR
TC =  C
 0
tC 

1 
R
Grupo de
Tecnología Industrial
ty
tz
φ ϕ γ
]T
 RtG*   R RC

=
 1   0
 RR
= C
 0
R
pG* = RTC ⋅ C TO ⋅O p*G
tC   C RO
 ⋅
1   0
R
tO   O t*G 
⋅ 
=
1   1 
C
tC   C RO ⋅O tG* + C tO 
⋅
=
1  
1

R
 R R C R ⋅O t * + RRC C tO + RtC 
= C O G

1


III Curso de Especialización en Automática
24
12
Visual Servoing
Basados en Posición
R * R
tG = RC C RO ⋅O tG*
+ RRC C tO + Rt C
Cinemática directa
tG −R tG* = RtG −RRC C RO ⋅O tG* + RRC C tO −R tC
R
Siendo
R
RC
Rotación entre SC y SR. Estimada por calibración
C
RO
Estimarla a partir del sistema de visión (modelo del objeto)
O *
tG
Distancia entre el extremo de la pinza y el objeto -> Deseada
C
Distancia objeto-cámara hay que estimarla (modelo del objeto)
tO
R
tC
Distancia cámara-robot. Estimada por calibración
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
25
Visual Servoing
Basados en Posición
R *
Cálculo de θG
R
Ω*G = R RC ⋅C Ω*G + R ΩC = R RC ⋅
(
C
)
RO ⋅ O Ω*G + C Ω O + R ΩC =
= R RC ⋅C RO ⋅O Ω *G + R RC ⋅C Ω O + R ΩC
Integrando
R * R
θ G ≈ RC ⋅ C RO ⋅O θ G*
+ RRC ⋅ C θ O + Rθ C
θG −RθG* ≈RθG −R RC ⋅C RO ⋅OθG* − RRC ⋅C θO −RθC
R
Ley de control
Grupo de
Tecnología Industrial
q& = K ⋅ e
III Curso de Especialización en Automática
26
13
Visual Servoing
Visual Servoing
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
27
Visual Servoing
Basado en características de la imagen
Introducción
fd +
Amplificadores
de Potencia
Controlador
Robot
Cámara
Controlador
de
articulaciones
-
f
Extracción
Características
(u(t0 ),v(t 0))
(u(t F),v(t F))
Imagen inicial
Grupo de
Tecnología Industrial
Imagen final
III Curso de Especialización en Automática
28
14
Visual Servoing
Basado en características de la imagen
Parámetros intrínsecos
 f ⋅ kx

B = 0
 0
Cx 

Cy 
1 
0
f ⋅k y
0
image
co-ordinate
system
(pixels)
X i 
 
Pi =  Yi 
 Z i 
retina
Oi
system
Yr
Xi
Image Centre or
Principal Point
Xr
Or
(u0, v0)
Focal point
Camer
co-ordinate
system
P 3D point
Pu
Zc
Observed
projection
Oc
World
co-ordinate
system
Pd
f
Yc
Xc
 ui 
si =  
vi 
Zr co-ordinate
Zi
Yi
Focal distance
 xi 
pi =  
 yi 
Image
Retinal
Xw
Yw
Ideal
projection
Zw
Ow
K
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
29
Visual Servoing
Basado en características de la imagen
Calculo de la matriz de interacción (jacobiano
imagen)
ui 
 xi  u 0 
ui   Fu 0   xi  u0 
  = A⋅  +  
v  =  0 F ⋅  y  + v 
v
 i
 yi   v0 
v  i  0
 i 
d Si ∂pi dPi ∂pi ∂Pi dr ∂pi T
=
⋅
=
⋅
⋅
=
⋅ LPi ⋅ T
dt
∂Pi dt
∂Pi ∂r dt ∂Pi
 xi 
y  =
 i
 Xi 
Z 
 i
 Yi 
Z 
 i
Grupo de
Tecnología Industrial
 x&i 
 y&  =
 i
1
Z
 i
0


0
1
Zi
xi
Zi
y
− i
Zi
−
0
− 1 0 0

Zi
 0 −1 0
 0
0 − 1 − Yi
  X& 
  i
 ⋅  Y&i 
  & 
  Zi 

de la
u& i 
 x& i 
&  = A⋅ & 
 vi 
 yi 
− Zi
0
Xi
Yi 

− Xi 
0 
dPi
= −Vc − Ω c xOc P
dt
III Curso de Especialización en Automática
Velocidad de un punto
respecto de un sistema
de referencia movil
30
15
Visual Servoing
Basado en características de la imagen
1
 x& i   Z i
 y&  = 
 i  0

0
1
Zi
xi 
− 1 0 0
0
Zi  
⋅ 0 −1 0 Z i
y  
− i   0 0 −1 − Y
i
Z i  
−
1
Z
u& i 
 x& i 
=
A
⋅
=
A
⋅
 i
 v& 
 y& 
 i
 i
0

LS i
(
)
Grupo de
Tecnología Industrial
xi  −1 0 0
0

Zi  
yi  ⋅  0 −1 0 Z i
−
Z i   0 0 −1 −Yi
−
0
1
Zi
 −1

S i , Z i , A = A ⋅  Zi
0

− Zi
0
Xi
 Vx 
V 
y
Yi   

V
 z
− Xi  ⋅ 
ωx
0   
ω y 
 
ω z 
0
−1
Zi
xi
x i ⋅ yi
Zi
yi
1 + y i2
Zi
− 1 − xi2
− xi ⋅ y i
− Zi
0
Xi
Yi 

− X i  ⋅T
0 

yi 

− xi 

III Curso de Especialización en Automática
31
Visual Servoing
Basado en características de la imagen
Cálculo de la matriz de interacción:
LTS i
LTS i
(S , Z , A )
(S , Z , A)
Un conjunto de puntos
(
LTS i = . . LS i
i
i
En cada iteración se calcula Zi
i
*
i
En cada iteración se calcula Zi= Zi*
*
LTS i  S i , Z i* , A 


)
. .T
En el equilibrio Zi= Zi* y Si= Si*
Rango de la matriz de interacción es 2 à sólo 2 gdl mediante un punto característico
+
(
TC = − λ ⋅ LTS ⋅ S (t ) − S d
Grupo de
Tecnología Industrial
)
Ley de Control
III Curso de Especialización en Automática
32
16
Visual Servoing
Basado en características de la imagen
Amplificadores
de Pote ncia
fd +
Cámara
Robot
Controlador
de
articulaciones
Controlador
-
f
+
Extracción
Características
(
TC = − λ ⋅ LTS ⋅ S (t ) − S d
TC = RWC ⋅ J ⋅ q&
Grupo de
Tecnología Industrial
(
)
q& = RWC ⋅ J
)
−1
⋅ TC
III Curso de Especialización en Automática
33
Visual Servoing
Índice
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
34
17
Visual Servoing
Basado en características de la imagen
Segmentos 2D (Martinet 2001...)

 u1 
 S 1 =  

 v1 
S = S1 , S 2 ⇒ 
S 2 =  u2 
v 

 2

1 segmento (centro, longitud y orientación) S G = (U G VG
(
2 puntos
uG 
 
 vG 
u1 
 
 v1 
)
T
θ
u2 
 
 v2 
uG =
u1 + u2
2
vG =
L θ )T
v1 + v2
2
(u2 − u1 )2 + (v 2 − v1 )2
θ = arctan(v 2 − v1, u2 − u1 )
L=
L
Plano de la Imagen
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
35
Visual Servoing
Basado en características de la imagen
Cálculo de la matriz de interacción(jacobiano de la
imagen) para 2 puntos:

 u1 
Xi 
 xi 
 S 1 =  
 ui 
T
v



p
=

1
s
=
i
i


v 
S = (S1 , S 2 ) ⇒ 
Pi =  Yi 
 yi 
 i
S 2 =  u2 
v 


Z

i
 
 2

 Xi 
 xi   Zi 
y  =  Y 
 i  i 
 Z i 
Grupo de
Tecnología Industrial
(
LTS i = . . LS i
)
. .T
 −1
0
 Z
 1
 0 −1
A 0 
Z1
 ⋅ 
LS = 
 0 A   −1
0
 Z2

−1
 0
Z2

Anteriormente Un conjunto de puntos
x1

x1 ⋅ y1 −1 − x12 y1 
Z1

y1
1 + y12 − x1 ⋅ y1 − x1 

Z1

xi
x2 ⋅ y 2 − 1 − x22
y2 
Z2


yi
1 + y22 − x2 ⋅ y2 − x 2 
Z2

III Curso de Especialización en Automática
36
18
Visual Servoing
Basado en características de la imagen
Cálculo de la matriz de interacción(jacobiano de la imagen) para
segmento(centro,longitud,orientación):
S G = (U G VG
L θ )T
uG 
 
 vG 
u1 
 
 v1 
θ
u2 
 
 v2 
u1 + u2
2
uG =
v1 + v2
2
(u2 − u1 )2 + (v 2 − v1 )2
θ = arctan(v 2 − v1, u2 − u1 )
L=
L
 ∂U G

 ∂S
 ∂VG
∂S G  ∂S
=
∂S
 ∂L
 ∂S
 ∂θ

 ∂S
Plano de la Imagen
 U& G 


d S G  V&G  ∂ S G d S ∂ S G ∂ S dr ∂ S G T
=
=
⋅
=
⋅
⋅
=
⋅ LS ⋅ T
& 
dt
∂ S ∂ r dt
∂S
 L  ∂ S dt
 θ& 


Grupo de
Tecnología Industrial
vG =











III Curso de Especialización en Automática
37
Visual Servoing
Basado en características de la imagen
∂U G
 ∂U G 


 ∂S 
∂
V
 G
∂SG  ∂S 
=

∂S
 ∂L 
 ∂S 
 ∂θ 


 ∂S 
 u1 
 
v 
S = 1 
u2 
v 
 2
∂S
1
=
2
vG =
v1 + v2
2
(u 2 − u1) + (v2 − v1 )
θ = arctan (v 2 − v1 , u2 − u1 )
L=
2
Grupo de
Tecnología Industrial
2
∂VG

0

∂S
 ∆U
= −
 L
1

= 0
2

0
1

2
∂L 1 1
∆U
= ⋅ ⋅ 2 ⋅ (u1 − u2 ) = −
∂u1 2 L
L
∂L 1 1
∆V
= ⋅ ⋅ 2 ⋅ (v1 − v2 ) = −
∂v1 2 L
L
∂S
u1 + u 2
2
1
2
∆U = u2 − u1 ∆V = v2 − v1
∂L
uG =
0
∂L ∆U
=
∂u2
L
−
∆V
L
∆U
L
∂L ∆U
=
∂v 2
L
∆V 

L 
∂θ
∂
=
[arctan (∆V , ∆U )] =
∂S ∂S
1
∂  ∆V 
=
⋅
∂θ  ∆V
∆U
2
∂
S  ∆U 
 ∆V 
= 2 − 2
1+ 

∂
S

L
L
 ∆U 
θ = arctan (∆V , ∆U ) ⇒
III Curso de Especialización en Automática
−
∆V
L2
∆U 

L2 
38
19
Visual Servoing
Basado en características de la imagen
 U& G 


d S G  V&G  ∂ S G d S ∂ S G ∂ S dr ∂ S G T
=
=
⋅
=
⋅
⋅ =
⋅ LS ⋅ T
& 
dt
∂ S ∂r dt
∂S
 L  ∂ S dt
 θ& 


 ∂U G

 ∂S
 ∂VG
∂S G  ∂S
=
∂S
 ∂L
 ∂S
 ∂θ

 ∂S
  1
 
  2
 
  0
 =  ∆U
 −
  L
  ∆V
  L2
 
1
2
0
1
2
∆V
−
L
∆U
− 2
L
Grupo de
Tecnología Industrial
0
∆U
L
∆V
− 2
L

0 

1 
2  ⋅  A
∆V   0
 
L 
∆U 

L2 
 −1
x1
0
x1 ⋅ y1
 Z
Z
1
 1
 0 − 1 y1 1 + y 2
1
0 
Z1 Z1
 ⋅ 
xi
A  − 1 0
x2 ⋅ y2
 Z2
Z2

−1 yi
1 + y22
 0
Z
Z2

2
− 1 − x12
− x1 ⋅ y1
−1 − x 22
− x2 ⋅ y2
III Curso de Especialización en Automática

y1 

− x1 


y2 


− x2 

39
Visual Servoing
Basado en características de la imagen
Rango de LS o LS à 4 luego sólo 4 gdl pueden ser
G
controlados mediante un segmento
Ejemplo:
Centrado
u1 
 
 v1 
uG 
 
 vG 
 u2 
 
 v2 
SG
L*
Z1 =Z2 =Z*
Plano de la Imagen
Grupo de
Tecnología Industrial
0
 
0
=  *  ⇒ LT *
SG
L
 
0
 
 −1
0
 Z
 1
 0 −1

Z1
=
−1

0
 Z2

−1
0
Z2

x1
x1 ⋅ y1
Z1
y1
1 + y12
Z1
xi
x2 ⋅ y2
Z2
yi
1 + y 22
Z2
III Curso de Especialización en Automática
− 1 − x12
− x1 ⋅ y1
− 1 − x 22
− x2 ⋅ y2

y1 

− x1 


y2 


− x2 

40
20
Visual Servoing
Basado en características de la imagen
Otras características
Lineas 2D
Elipses
Etc....
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
41
Visual Servoing
Índice
Clasificación de los distintos enfoques. “visual servoing”
Introducción al control sensorial (cámara)
Sistemas de control visual basados en:
Posición (3D)
Puntos 3D
Pose(posición/orientación)
Basado en características de la imagen
Puntos 2D
Segmentos 2D
Otras características
Implementación
Simulaciones
Experimentación
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
42
21
Visual Servoing
Implementación
Basado en características:
Simulaciones:
Simulink (Toolbox “Prácticas de Robótica” ISA-UMH)
Objeto fijo y móvil
2 gdl y 6 gdl
Módelo del robot
Primeras simulaciones (hipotético)
Restantes simulaciones (PA-10)
Implementación experimental
Sobre el manipulador industrial PA-10, en la
configuración eye-in-hand
Grupo de
Tecnología Industrial
III Curso de Especialización en Automática
43
Visual Servoing
Implementación
Primeras simulaciones
q2
q1
r1
Y
l1 V
m1
q1
r2
q2
V
l2
m2
Pinza
Objeto
Cámara
Grupo de
Tecnología Industrial
X
III Curso de Especialización en Automática
44
22