Continuidad del control visual INDICE

Ingeniería de
Sistemas y Automática
Continuidad del control visual
1
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
– Introducción
– Teoría preliminar: Control visual en el espacio invariante
– Control en el espacio invariante con pesos(weighted invariant space
space))
– Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
2
ISA-UMH © TDOC-2003
1
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
–
–
–
–
Introducción
Teoría preliminar: Control visual en el espacio invariante
Control en el espacio invariante con pesos(weighted invariant space
space))
Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
3
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Introducción
n
Técnicas de control visual à Durante las últimas 2 decadas
– Premisa
n
El objeto debe permanecer en el campo de visión durante el control.
control.
– Solución???
n
Por supuesto!! Mantener siempre el objeto en el campo de visión.
– Planificación de trayectorias en el plano de la imagen. Mouzart y
Chaummette
– Controlar el zoom de la cámara. E. Malis
Malis,, UMH.
n
Definir una nueva función de la tarea que tenga en cuenta este posible
p osible
problema
– Nuevo enfoque propuesto en esta presentación
Continuidad del control visual
4
ISA-UMH © TDOC-2003
2
Ingeniería de
Sistemas y Automática
Introducción
n
Task function approach (Samson
Samson))
e = C ( s – s* )T siendo s = (s1 , . . . sn )T y s* = (s* 1 , . . . s* n )T
v = - ? L+ e
n
Qué ocurre cuando una característica aparece o desaparece del plano
plano
de la imagen??
s = (s1 , . . . , sj , …. sn )T
s* = (s* 1 , . . . , s* j , …. s*n )T
sj
Discontinuidad
sn+1
s = (s1 , . . . sn , sn+1 )T
Continuidad del control visual
s* = (s* 1 , . . s* n , s*n+1 )T
5
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Introducción
n
Estudio
– Control visual clásico basado en características de la imagen
n
Sólo cambia la función de la tarea dependiendo del número de características
características que
aparezcan (s
(sn+1) o desaparezcan (s
(sj)
– Control visual en el espacio invariante
n
Cambian todas las características de la función de la tarea à cambia la
transformació
transformaci
ón entre el espacio proyectivo de la imagen y el espacio invariante
invarian te
proyectivoà
proyectivo
à los ptos invariantes sobre los que se realiza el control.
Continuidad del control visual
6
ISA-UMH © TDOC-2003
3
Ingeniería de
Sistemas y Automática
Introducción
n
Solución
– A cada característica se le asocia un peso (pos u,v en imagen. W à 0
cerca del borde de la imagen)
imagen)
– Definir una función de la tarea (task
( task function
function)) que tenga en cuenta
los pesos asociados a cada característica
– Reformular las aproximaciones
n
n
Control visual clásico basado en características de la imagen
Control visual en el espacio invariante
– Experimentos con datos simulados para corroborar la solución
propuesta
Continuidad del control visual
7
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
–
–
–
–
Introducción
Teoría preliminar: Control visual en el espacio invariante
Control en el espacio invariante con pesos(weighted invariant space
space))
Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
8
ISA-UMH © TDOC-2003
4
Ingeniería de
Sistemas y Automática
Control visual en el espacio invariante
n
Esquema de control que es invariante respecto a los posibles cambios
cambios en lo
parámetros intrínsecos de la cámara
– Cámara con que se toma la imagen de referencia no sea la misma con
con la que se
realiza el control (envejecimiento…)
– Posibilidad de usar el zoom (Control en el espacio invariante, config eye
eye--to
to--hand
hand,,
control del zoom para evitar que caract salgan de la imagen, UMH)
n
Sp =
Se dispone de n puntos pi = (u
(ui, vi, 1) o mi = (x
( xi, yi, 1) se puede construir las
matrices:
n
1
∑ pi ⋅ pTi
n i =1
y
Sm =
n
1
∑ mi ⋅ miT
n i =1
 n 2
 ∑ ui
 ni=1
S p = ∑ ui ⋅ vi
 i= 1
 n
 ∑ ui
 i=1
n

n
∑ u ⋅v ∑ u 
i= 1
n
i
i
∑v
i =1
n
2
i
∑v
i
i =1
i

vi  =
∑

i =1

1 

i= 1
n
σ11 σ 12 σ 13 
σ
σ 22 σ 23 
 12

σ13 σ 23 1 
Continuidad del control visual
9
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Control visual en el espacio invariante
n
Como pi = K mi siendo K matriz parámetros intrínsecos
Sp =
n
1 n
1 n

T
p
⋅
p
=
K
⋅
 ∑ mi ⋅ mTi  ⋅ K T = K ⋅ S m ⋅ K T
∑
i
i
n i =1
 n i=1

Si los puntos no son colineales y n>3, S p y S m son matrices definidas
positivas y que pueden descomponerse utilizando la descomposición
descomposición de
Cholesky en:
S p = T p ⋅T pT
y S m = Tm ⋅ TmT
T p = K ⋅ Tm
Continuidad del control visual
10
ISA-UMH © TDOC-2003
5
Ingeniería de
Sistemas y Automática
Control visual en el espacio invariante
n
n
n
T p define un transformación proyectiva del espacio proyectivo de
la imagen al nuevoespacio proyectivo Q.
De foma análoga, la matriz Tm define una transformación
proyectiva del espacio proyectivo M al mismo espacio proyectivo
Q.
Si qi e Q
qi = T p−1 ⋅ pi
qi = Tm−1 ⋅ mi
qi = T p−1 ⋅ pi = Tm−1 ⋅ K −1 ⋅ pi = Tm−1 ⋅ K −1 ⋅ K ⋅ mi = Tm−1 ⋅ mi
T-1 m y mi no dependen de parámetros intrisecos
Continuidad del control visual
11
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Control visual en el espacio invariante
Continuidad del control visual
12
ISA-UMH © TDOC-2003
6
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
– Introducción
– Teoría preliminar: Control visual en el espacio invariante
– Control en el espacio invariante con pesos(weighted
invariant space
space))
– Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
13
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Control(weighted invariant space
space))
n
Funciones de peso asociadas a cada característica si
– Funciones de peso distintas. Peso à 0 cerca del borde y à cerca del centro de
la imagen.
– Cada punto p i de la imagen tiene su propio peso γ
Continuidad del control visual
14
ISA-UMH © TDOC-2003
7
Ingeniería de
Sistemas y Automática
Control(weighted invariant space
space))
Continuidad del control visual
15
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Control(weighted invariant space
space))
n
Pesos γi redistribuirse para que la suma de sus cuadrados sea n
S γp =
1 n
γ i ⋅ pi ⋅ γ i ⋅ piT
n∑
i =1
 n 2
 ∑ui
 n i=1
S p = ∑ ui ⋅ vi
 i =1
 n
 ∑ui
 i=1
Continuidad del control visual
n
S mγ =
y
1 n
γ i ⋅ m i ⋅γ i ⋅ mTi
n∑
i =1

n
∑u ⋅v ∑u 
i
i =1
i
n
∑ vi2
i=1
n
∑v
i =1
i
i
 σ 11 σ 12 σ 13 
 = σ
v
σ 22 σ 23 
∑
i
  12
i =1
 σ 13 σ 23 1 
1 

i =1
n
16
ISA-UMH © TDOC-2003
8
Ingeniería de
Sistemas y Automática
Control(weighted invariant space
space))
n
Se demuestra que esta formulación es también invariante respecto a
la variación de los parámetros intrínsecos de la cámara
n
Se recalcula la matriz de interacción teniendo en cuenta los pesos
pesos
n
Se define una nueva función de la tarea
– W es una matriz diagonal 2n x 2n con los pesos
n
Se ha demostrado su estabilidad local
n
Se ha aplicado con éxito a las simulaciones que se mostrarán
posteriormente
Continuidad del control visual
17
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
–
–
–
–
Introducción
Teoría preliminar: Control visual en el espacio invariante
Control en el espacio invariante con pesos(weighted invariant space
space))
Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
18
ISA-UMH © TDOC-2003
9
Ingeniería de
Sistemas y Automática
Camera zooming
Continuidad del control visual
19
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming
Continuidad del control visual
20
ISA-UMH © TDOC-2003
10
Ingeniería de
Sistemas y Automática
Camera zooming
Continuidad del control visual
21
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming(Control INV)
Continuidad del control visual
22
ISA-UMH © TDOC-2003
11
Ingeniería de
Sistemas y Automática
Camera zooming(Control INVW)
Continuidad del control visual
23
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming(Pesos INVW)
Continuidad del control visual
24
ISA-UMH © TDOC-2003
12
Ingeniería de
Sistemas y Automática
Camera zooming
Continuidad del control visual
25
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming(Control INV)
Continuidad del control visual
26
ISA-UMH © TDOC-2003
13
Ingeniería de
Sistemas y Automática
CZooming(Error espacio cartesiano INV)
Continuidad del control visual
27
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming(Control INVW)
Continuidad del control visual
28
ISA-UMH © TDOC-2003
14
Ingeniería de
Sistemas y Automática
CZooming(Error espacio cartesiano INVW)
Continuidad del control visual
29
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Camera zooming(Pesos INVW)
Continuidad del control visual
30
ISA-UMH © TDOC-2003
15
Ingeniería de
Sistemas y Automática
Continuidad del control visual
INDICE
–
–
–
–
Introducción
Teoría preliminar: Control visual en el espacio invariante
Control en el espacio invariante con pesos(weighted invariant space
space))
Experimentos utilizando datos simulados
n
n
Control de una camara mientras esta realizando un zoom
Control de un robot movil holonómico
Continuidad del control visual
31
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil
n
n
n
n
Navegación visual de un Robot movil holonómico
Un entrenamiento previo donde se recoge un vector de
características de referencia s*
Objetivo à que el robot repita el camino aprendido
Usando
– Control en el espacio invariante
– Control visual clásico basado en características de la imagen
Continuidad del control visual
32
ISA-UMH © TDOC-2003
16
Ingeniería de
Sistemas y Automática
Robot movil
Continuidad del control visual
33
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil
Continuidad del control visual
34
ISA-UMH © TDOC-2003
17
Ingeniería de
Sistemas y Automática
Robot movil
Continuidad del control visual
35
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Control INV)
Continuidad del control visual
36
ISA-UMH © TDOC-2003
18
Ingeniería de
Sistemas y Automática
Robot movil(Control INVW)
Continuidad del control visual
37
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Pesos INVW)
Continuidad del control visual
38
ISA-UMH © TDOC-2003
19
Ingeniería de
Sistemas y Automática
Error y trayectoria (INV)
Continuidad del control visual
39
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Control IB)
Continuidad del control visual
40
ISA-UMH © TDOC-2003
20
Ingeniería de
Sistemas y Automática
Robot movil(Control IBW)
Continuidad del control visual
41
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Pesos IBW)
Continuidad del control visual
42
ISA-UMH © TDOC-2003
21
Ingeniería de
Sistemas y Automática
Robot movil
Continuidad del control visual
43
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Control INVW)
Continuidad del control visual
44
ISA-UMH © TDOC-2003
22
Ingeniería de
Sistemas y Automática
Robot movil(Control INVW)
Continuidad del control visual
45
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Pesos INVW)
Continuidad del control visual
46
ISA-UMH © TDOC-2003
23
Ingeniería de
Sistemas y Automática
Robot movil(Control IB)
Continuidad del control visual
47
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Robot movil(Control IBW)
Continuidad del control visual
48
ISA-UMH © TDOC-2003
24
Ingeniería de
Sistemas y Automática
Robot movil(Pesos IBW)
Continuidad del control visual
49
ISA-UMH © TDOC-2003
Ingeniería de
Sistemas y Automática
Pruebas experimentales
n
n
n
Cámara motorizada
PA--10
PA
Robot movil
Continuidad del control visual
50
ISA-UMH © TDOC-2003
25